GPT
הוספת כלי
M

Matrix-Game-2.0

קוד פתוח

Skyworkmit2025-08-08

  • diffusers
  • safetensors
  • image-to-video
  • en
  • eval-results

מודל עולם אינטראקטיבי שמייצר וידאו בזמן אמת מתמונת פתיחה וקלט מקלדת ועכבר. הוא רץ בדיפוזיה של צעדים בודדים ומסוגל להחזיק זרימה של 25 פריימים בשנייה.

  • 26.0 GBמשקל הקבצים
  • 209הורדות בחודש
  • 296לייקים

מה זה

מדובר במודל של 1.8 מיליארד פרמטרים שנגזר מ־Wan, אבל הסירו ממנו את ענף הטקסט לטובת מודול שמקבל פקודות שליטה ישירות. המטרה שלו היא לא סתם לייצר קליפ סטטי, אלא לחזות את הפריימים הבאים תוך כדי תנועה על בסיס התמונה הקודמת והפעולות שהמשתמש ביצע.

האימון שלו נשען על צנרת של כ־1,200 שעות של וידאו אינטראקטיבי מתוך Unreal Engine ו־GTA5. לפי המדדים של Skywork במבחן GameWorld, הוא עוקף את Oasis באיכות התמונה עם ציון של 0.61 לעומת 0.27, ומגיב הרבה יותר טוב לעכבר עם דיוק של 0.95 מול 0.56.

מתאים ל

  • סימולטורים אינטראקטיביים

    מאפשר בדיקת תנועה ושליטה בזמן אמת בלי צורך לרנדר מנוע תלת ממד כבד.

  • אב טיפוס למשחקי וידאו

    מייצר סביבות משחק דינמיות מבוססות מקלדת ועכבר מתוך תמונת קונספט בודדת.

  • מחקר במודלי עולם

    מספק בסיס קוד ומשקלים פתוחים לבדיקת חיזוי פריימים וסנכרון תנועות משתמש.

איפה זה נופל

למרות השליטה המרשימה, המודל עדיין סובל מחוסר יציבות של הסביבה לאורך זמן. במדד עקביות התרחיש הוא מקבל 0.80, שזה מעט נמוך יותר מ־Oasis שעומד על 0.84. בנוסף, הוא אומן בעיקר על דאטה של מנועי משחקים כמו GTA5, ולכן לא בטוח איך הוא יתמודד עם עולמות מציאותיים או סגנונות ויזואליים שונים לחלוטין. הוא גם לא מקבל הנחיות טקסט, כך שאי אפשר לכוון את העלילה במילים אלא רק בתמונה ראשונית ותנועות שליטה.

שאלות
נפוצות

האם אפשר לשלוט בו באמצעות פרומפט טקסטואלי?

לא. המפתחים הסירו את ענף עיבוד הטקסט מהארכיטקטורה כדי להתמקד בביצועים. השליטה נעשית אך ורק על ידי תמונת מקור ותנועות מקלדת ועכבר.

איך המודל מצליח להגיע לקצב של 25 פריימים בשנייה?

הוא עבר תהליך זיקוק שמאפשר לו לייצר כל פריים במספר קטן מאוד של צעדי דיפוזיה, מה שמקצר את זמן החישוב בכל צעד ומאפשר שידור רציף.

איך מריצים

המשקל הכולל של הקבצים מגיע ל־26 גיגה בייט, כך שתצטרכו כרטיס מסך חזק עם מספיק VRAM כדי להחזיק את המודל בזיכרון ולייצר וידאו בזמן אמת. המודל מתממשק ישירות דרך ספריית diffusers ומבוסס על תהליך זיקוק שמאפשר ריצה בצעדים ספורים.

בשלב הזה אין לו שירות ענן או API מסודר לצריכה מרחוק, אז אם אתם רוצים לבדוק אותו, תצטרכו להוריד את המשקלים ולהרים את הסביבה בעצמכם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Skywork/Matrix-Game-2.0")
img = pipe("a photo").images[0]

הקבצים

18 קבצים במאגר, 26.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו בחופשיות, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא בעמוד המודל ↗