HY-WorldPlay

קוד פתוח

tencentother2025-12-12

hy-worldplay
diffusers
safetensors
hunyuan3d
worldmodel

מודל דיפוזיה שמייצר עולמות וידאו אינטראקטיביים מתמונה בודדת בזמן אמת. הוא מגיב ישירות לקלט של מקלדת ועכבר ושומר על עקביות מרחבית לאורך זמן.

176 GBמשקל הקבצים
303הורדות בחודש
523לייקים

מה זה

המודל מייצר סרטוני וידאו רציפים בקצב של 24 פריימים לשנייה, מתוך תמונה ראשונית או תיאור טקסטואלי, כשהוא מונחה על ידי תנועת המצלמה או קלט מקלדת ועכבר. התהליך עובד על בסיס מקטעים של 16 פריימים, תוך חיזוי הצעד הבא ושחזור זיכרון מפריימים קודמים. המטרה כאן היא לפתור בעיה מוכרת של מודלים אוטורגרסיביים, שבה המרחב נשכח ומשתנה ככל שמתקדמים בציר הזמן.

במבחני ביצועים לטווח ארוך, המודל מציג יתרון ברור על חלופות כמו Matrix Game 2.0 ו־Gen3C. עם ציון PSNR של 18.94 ו־SSIM של 0.585 בטווח הארוך, הוא שומר על פרטים חזותיים ומבנה גאומטרי בצורה הדוקה יותר, במקום להימרח או להמציא מחדש אזורים שכבר נצפו.

מתאים ל

סימולטורים ומשחקים
שליטה בזמן אמת עם עכבר ומקלדת מאפשרת תנועה חופשית בסביבות תלת ממד שנוצרות ישירות מתמונה.
שחזור סביבות תלת ממד
שמירה על עקביות גאומטרית לאורך זמן מונעת עיוותים כשמצלמים את אותה סצנה מזוויות שונות.
תכנון מסלולי מצלמה
יצירת סרטוני הדמיה רציפים עבור הפקות וידאו באמצעות תסריטי תנועה מותאמים אישית.

איפה זה נופל

גודל המודל הוא מכשול רציני. כדי להגיע לביצועים המוצהרים של זמן אמת ועקביות מרחבית, נדרש שימוש בזיקוק תלוי הקשר ובמנגנוני זיכרון מורכבים, מה שעלול ליצור שגיאות תנועה וסחיפה אם מקור הקלט סוטה מהדאטה שעליו הוא אומן. המודל מתמקד בתנועת מצלמה ובסביבות מוגדרות, כך שאירועים דינמיים מורכבים מאוד או שינויים קיצוניים בסצנה עשויים לגרום לפגמים חזותיים בפריימים המאוחרים.

שאלות
נפוצות

האם אפשר להריץ את המודל על מחשב נייח חזק?

לא. משקל הקבצים לבדו הוא 176 גיגה בייט, כך שדרוש שרת עם כרטיסי מסך תעשייתיים וזיכרון וידאו עצום רק כדי לטעון את המשקולות לזיכרון.

איך המודל שומר על יציבות ולא מעוות את הסביבה?

הוא משתמש במנגנון זיכרון דינמי שמחזיר פריימים חשובים מהעבר, וכך הוא יודע איך החדר נראה גם אחרי שהסתובבתם כמה פעמים.

איך מריצים

המשקל הכולל של הקבצים עומד על 176 גיגה בייט, מה שאומר שאין מה לנסות להריץ אותו על כרטיס ביתי רגיל. אתם צריכים שרת ייעודי עם מאיצים עתירי זיכרון כמו A100 או H100 כדי לטעון את כל המשקולות ולבצע היסק בזמן אמת. הקוד תומך במודלים תואמי vLLM לשכתוב פרומפטים, אך שימוש ב־Gemini מחייב מימוש ידני של הקריאות.

אם אין לכם קלאסטר כזה זמין מקומית, עדיף להמתין לשירות ענן או API מסחרי שמארח אותו, במיוחד כשמדובר במודל שדורש רוחב פס גבוה כדי להגיע לקצב שידור רציף.

pip install -U huggingface_hub
hf download tencent/HY-WorldPlay

הקבצים

12 קבצים במאגר, 176 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון מוגדר כ־other ללא פירוט מפורש של תנאי קוד פתוח סטנדרטיים בדף. במצב כזה, אסור להניח שהשימוש המסחרי מותר. אם אתם מתכננים לשלב אותו במוצר, חובה לבדוק את תנאי השימוש המלאים במאגר הקוד של טנסנט לפני שמשקיעים בפיתוח.

הרישיון המלא בעמוד המודל ↗