GPT
הוספת כלי
M

Matrix-Game-3.0

קוד פתוח

Skyworkapache-2.02026-03-27

  • diffusers
  • safetensors
  • image-text-to-video
  • en
  • eval-results

מודל עולם אינטראקטיבי שמייצר וידאו בזמן אמת מתוך תמונה וטקסט. הוא מתאים למי שרוצה שליטה בתנועה ובמצלמה ברזולוציית 720p וקצב של 40 פריימים בשנייה.

  • 52.7 GBמשקל הקבצים
  • 157הורדות בחודש
  • 135לייקים

מה זה

המודל הזה משלב ארכיטקטורת Diffusion Transformer עם מנגנון זיכרון שמיועד לפתור בעיה מוכרת של איבוד עקביות לאורך זמן. במקום לייצר סרטון סטטי וקצר, הוא מקבל תמונה והנחיית טקסט, ומייצר סביבה שמגיבה לפעולות תוך שמירה על זיכרון מרחבי של המצלמה. המפתחים אימנו אותו על דאטה משולב של מנוע Unreal Engine, משחקי מחשב וסרטוני עולם אמיתי.

היתרון שלו הוא היכולת להגיע לזמן אמת. באמצעות זיקוק מודל, קוונטיזציה ל־INT8 ושימוש במפענח VAE קל, הוא מייצר וידאו בקצב של 40 פריימים בשנייה בגרסת 5B, כשיש גם גרסה גדולה יותר של 28B מבוססת תערובת מומחים לאיכות תמונה גבוהה יותר.

מתאים ל

  • סימולציות משחק אינטראקטיביות

    הוא מגיב לפעולות בזמן אמת ומייצר וידאו ב־40 פריימים בשנייה מבוסס פקודות מצלמה.

  • יצירת תוכן וידאו רציף

    מנגנון הזיכרון המרחבי שומר על עקביות של הסביבה לאורך רצפים שנמשכים מעל דקה.

  • פיתוח סביבות אימון לרובוטיקה

    הוא משלב דאטה סינתטי מנועי תלת-ממד עם פיזיקה ווידאו מהעולם האמיתי.

איפה זה נופל

המודל תומך רק בשפה האנגלית עבור הנחיות הטקסט. מי שינסה להכניס עברית לא יקבל תוצאות רלוונטיות בלי תרגום מוקדם. מעבר לכך, התלות ב־FlashAttention 3 מגבילה מאוד את סוגי החומרה שיכולים להריץ את הקוד בלי שגיאות תאימות.

גם מנגנון הזיכרון לטווח ארוך מתבסס על תיקון עצמי והזרקה מחדש של פריימים, מה שעלול לייצר ארטיפקטים או עיוותים מצטברים ברינדור ממושך של דקות, במיוחד בסצנות מורכבות עם תנועה חדה.

שאלות
נפוצות

האם המודל מבין הנחיות בעברית?

לא. המודל מוגדר ומאומן עבור השפה האנגלית בלבד. אם תזינו פרומפטים בעברית הוא ייכשל, ולכן חובה לתרגם את הטקסט לאנגלית לפני שליחתו למודל.

כמה כוח מחשוב דרוש כדי להגיע לביצועים המוצהרים?

הרבה. סקריפט ההרצה דורש FlashAttention 3, חלוקת זיכרון ב־FSDP וקוונטיזציה של INT8 על פני 52.7 ג'יגה בייט של קבצים. ללא חומרה מקצועית מרובת כרטיסים, לא תגיעו לקצב של 40 פריימים בשנייה.

איך מריצים

קבצי המודל תופסים 52.7 ג'יגה בייט ב־16 קבצים, כך שצריך כרטיס גרפי רציני עם שפע VRAM. פקודת ההרצה הרשמית מבוססת על torchrun ומפעילה אופטימיזציות כבדות כמו FSDP גם ל־DiT וגם ל־T5, יחד עם FlashAttention 3 וכימוס INT8 כדי לא לחנוק את החומרה.

אם אין לכם מערך של כרטיסים גרפיים מודרניים עם תמיכה ב־FlashAttention 3 ו־Python 3.12, יהיה קשה מאוד להריץ אותו בקצב המובטח של זמן אמת. במצב המזוקק הוא רץ ב־3 צעדי דגימה, אבל אם תרצו להריץ את מודל הבסיס תצטרכו 50 צעדים, מה שהופך הרצה מקומית חלשה ללא מעשית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Skywork/Matrix-Game-3.0")
img = pipe("a photo").images[0]

הקבצים

16 קבצים במאגר, 52.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא apache-2.0, וזה אומר חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר שלכם. התנאי העיקרי הוא שמירה על זכויות היוצרים המקוריות והצהרת הרישיון.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗