HY-World-2.0
קוד פתוחtencentother2026-04-10
הפרויקט הזה מייצר נכסי תלת מימד אמיתיים מטקסט, תמונות או וידאו במקום להסתפק בסרטונים. הוא פונה למי שצריך סביבות גאוסיאן ספלאטינג ומשים שניתן לייבא ישירות למנועי משחקים.
- 163 GBמשקל הקבצים
- 3,061הורדות בחודש
- 707לייקים
מה זה
במקום לייצר רצף פריימים דו ממדי שנעלם בסוף הניגון, המערכת הזו בונה עולם גאומטרי שלם עם ענני נקודות, משים ותכונות גאוסיאן ספלאטינג. היא כוללת שני מסלולים מרכזיים, שחזור סצנות מקבצי וידאו או תמונות מרובות נקודות מבט, ויצירת עולמות מלאים יש מאין באמצעות טקסט או תמונה בודדת. תהליך היצירה מתחיל בפנורמה של שלוש מאות שישים מעלות, ממשיך בתכנון מסלול תנועה עם מודל ראייה, ומתרחב לסביבה שלמה שניתן לנווט בה עם מודל פיזיקלי של התנגשויות.
ההבדל המשמעותי מול מודלי עולם מבוססי וידאו נעוץ באופי התוצר. ברגע שהסצנה נוצרה, עלות הרינדור שלה בזמן אמת אפסית כי היא לא דורשת הסקה פרמטרית מחדש בכל פריים, ואפשר לטעון אותה ישירות ליוניטי, אנריל אנג'ין או בלנדר. במבחני שחזור כמו טאנקס אנד טמפלס, רכיב ההרחבה וורלד סטריאו 2 השיג ציון אף אחת של 41.43 ושטח מתחת לעקומה של 58.19, תוצאות שמציגות שלמות ועקביות מרחבית גבוהה יותר משיטות מקבילות, במיוחד כשתנועת המצלמה חדה.
מתאים ל
- בניית סביבות למשחקים
הוא פולט משים וענני גאוסיאן ספלאטינג שמיועדים לייבוא ישיר לאנריל אנג'ין ויוניטי ללא צורך בהמרת וידאו.
- שחזור תלת ממד מתוך וידאו
רכיב וורלד מירור חוזה גאומטריה, עומק ופרמטרי מצלמה בריצת חישוב אחת על בסיס קליפ קצר שצילמתם.
- סימולציות רובוטיקה באייזק
הסביבות כוללות נתוני עבירות מבוססי ניווט פיזיקלי שמאפשרים תנועת דמויות ורובוטים עם חיכוך והתנגשויות.
איפה זה נופל
הטבלאות חושפות תלות קריטית במידע מוקדם. בדיקות השחזור מראות שהדיוק של וורלד מירור ברזולוציה גבוהה עומד על 0.037 בלבד בריצה עיוורת, אבל מזנק ל 0.012 כשמזריקים לו נתוני מצלמה ועומק ידועים מראש. בלי פרמטרים אופטיים מדויקים, איכות ענן הנקודות והמש נפגעת באופן ניכר. מעבר לכך, הצנרת ליצירת עולם מטקסט מורכבת מחמישה שלבים שונים שכוללים תכנון מסלול, רינדור ביניים ואימון ייעודי של ספלאטינג לכל סצנה, מה שמייצר עיכוב משמעותי בהפקה.
שאלות
נפוצות
האם אפשר להריץ את כל תהליך יצירת העולמות על כרטיס מסך בודד?
לא מומלץ לנסות. יצירת עולם מלא דורשת מודל פנורמה של 80 מיליארד פרמטרים, מודל וידאו של 17 מיליארד פרמטרים ואימון ספלאטינג רב שלבי שחייב מספר מאיצים גרפיים וספריות ייעודיות. כרטיס בודד יספיק רק להרצת מודל השחזור הקל וורלד מירור 2.
במה הוא נבדל ממודלי יצירת וידאו כמו ג'יני או קוסמוס?
מודלי וידאו מייצרים רק פיקסלים נעים שנעלמים בתום הנגינה ודורשים הסקה כבדה בכל שנייה מחדש. הפרויקט הזה מחשב סצנה גאומטרית תלת ממדית אמיתית פעם אחת, ואז מאפשר להסתובב בתוכה בחופשיות בלי עלות חישוב נוספת.
האם המודל מבין פקודות טקסט בעברית?
הכרטיס מציין תמיכה מפורשת באנגלית ובסינית בלבד עבור מודלי הפנורמה והיצירה. הנחיות טקסטואליות בעברית עלולות להיכשל או להניב תוצאות שגויות, ולכן עדיף להזין תיאורים באנגלית או להשתמש ישירות בתמונות כקלט.
איך מריצים
המשקל הכולל של הקבצים מגיע ל 163 גיגה בייט ומחולק בין כמה מודלים נפרדים בצנרת. מודל הפנורמה שוקל לבדו כשמונים מיליארד פרמטרים, בעוד מודל ההרחבה כולל שבעה עשר מיליארד פרמטרים, ומודל השחזור וורלד מירור 2 צנוע יותר עם כמיליארד נקודה שניים פרמטרים בלבד. להרצת שרשרת היצירה המלאה תצטרכו שרת עם מספר כרטיסי מסך חזקים, רצוי ארכיטקטורת הופר עם תמיכה בפלאש אטנשן שלוש, הגדרות אף אס די פי וזיכרון וידאו מאסיבי.
אם כל מה שמעניין אתכם זה שחזור תלת ממדי מתוך וידאו קיים, אפשר להסתפק בוורלד מירור 2 ולהריץ אותו על כרטיס יחיד בממשק גראדיו או פייתון. לפרויקט יצירה שלם שמבקש להפוך טקסט לעולם, ההקמה המקומית כבדה מדי למפתחים בודדים ודורשת ספריות ניווט מותאמות כמו ריקאסט. במקרה כזה שווה לבדוק קודם את אתר ההדגמה הרשמי כדי לראות אם התוצאות מצדיקות את שריפת השרתים.
pip install -U huggingface_hub hf download tencent/HY-World-2.0
הקבצים
80 קבצים במאגר, 163 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
- HY-Pano-2.0/model-00001-of-00032.safetensors5.4 GB
- HY-Pano-2.0/model-00018-of-00032.safetensors5.4 GB
- HY-Pano-2.0/model-00004-of-00032.safetensors5.4 GB
- HY-Pano-2.0/model-00003-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00012-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00014-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00016-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00021-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00022-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00024-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00026-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00028-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00008-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00005-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00006-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00010-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00031-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00009-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00011-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00013-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00015-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00023-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00025-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00027-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00029-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00017-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00019-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00020-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00007-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00002-of-00032.safetensors5.3 GB
- HY-Pano-2.0/model-00030-of-00032.safetensors5.3 GB
- HY-WorldMirror-2.0/model.safetensors5.1 GB
- HY-Pano-2.0/model-00032-of-00032.safetensors3.2 GB
- HY-Pano-2.0/pytorch_lora_weights.safetensors849.5 MB
- assets/screenshot_7.gif26.3 MB
- HY-Pano-2.0/tokenizer.json25.0 MB
- assets/screenshot_3.gif22.0 MB
- assets/screenshot_8.gif20.9 MB
- assets/hyworld2_en.mp420.7 MB
- assets/screenshot_1.gif20.7 MB
הרישיון
הרישיון הרשום בעמוד מוגדר כאחר. החוקים המדויקים לשימוש מסחרי, הפצה במוצרים או תנאי סגירת קוד לא פורטו בהסכם פתוח סטנדרטי בכרטיס המודל. ארגונים שמתכננים להטמיע את המשקלים או את קוד ההסקה בתוך אפליקציות מסחריות מחויבים לעיין בתנאים הנלווים בקוד המקור או לפנות לחברת טנסנט כדי לוודא שאינם מפרים זכויות שימוש.