GPT
הוספת כלי
M

Motif-Video-2B

קוד פתוח

Motif-Technologiesapache-2.02026-04-14

  • diffusers
  • safetensors
  • text-to-video
  • image-to-video
  • video-generation

המודל מייצר וידאו מטקסט ומתמונות ברזולוציה של 720p עם שני מיליארד פרמטרים בלבד. הוא מציע התאמה טובה לטקסט וצריכת זיכרון שמאפשרת עבודה על כרטיס ביתי.

  • 2Bפרמטרים
  • 16.2 GBמשקל הקבצים
  • 317הורדות בחודש
  • 118לייקים

מה זה

מדובר במודל דיפוזיה שמייצר קליפים של 121 פריימים, שזה בערך חמש שניות ב־24 פריימים לשנייה, מתוך סט משקלים יחיד שתומך גם בטקסט לווידאו וגם בתמונה לווידאו. הארכיטקטורה מחלקת את העבודה לשלושה שלבים נפרדים: שכבות כפולות להפרדת הטקסט מהווידאו בהתחלה, שכבות מאוחדות שמשתמשות במנגנון תשומת לב צולבת משותף כדי למנוע היחלשות של הטקסט, ומפענח ייעודי לשחזור פרטים חדים ותנועה בין פריימים.

במדד VBench הוא קיבל ציון כולל של 83.76%, גבוה מזה של Wan2.1 שמחזיק 14 מיליארד פרמטרים. בפועל, המשמעות של הציון היא הצלחה גבוהה מאוד בהבנת תיאורים מורכבים ומיקומים במרחב ביחס לגודלו, בזכות אימון מבוסס ניתוב טוקנים ומודל ראייה מנחה.

מתאים ל

  • הנפשת תמונות סטילס מקומית

    הוא מטפל בתמונה לווידאו מאותו קובץ משקלים ורץ על חומרה ביתית מכווצת.

  • מחקר על מודלי וידאו קטנים

    הארכיטקטורה שלו מופרדת לשלבים וכל מתכון האימון פתוח ומתועד.

  • ייצור מהיר של סרטונים קצרים

    הוא מגיע לחמש שניות ב־720p בלי צורך בחוות שרתים ענקית.

איפה זה נופל

למרות הציון הגבוה במדדים, היוצרים מודים שבמבחן מראה מול מודלים של 14 מיליארד פרמטרים הוא עדיין מפסיד ביציבות התנועה ובאנטומיה אנושית. יש עיוותים באצבעות ביחסי תקריב, קריסה של מבנה הגוף בתנועות חדות וזליגת מאפיינים בין דמויות דומות. המודל מתקשה לדמות פיזיקה של נוזלים, בדים והתנגשויות, מאבד עקביות בסצנות מרובות אנשים ונוטה לבצע חיתוכי סצנה לא רצויים באמצע סרטון ארוך.

שאלות
נפוצות

האם אפשר להריץ אותו על מחשב אישי עם כרטיס בודד?

כן, אבל רק עם משקלי GGUF או בכימות FP8 עם פריקה למעבד. במצב המקורי הוא דורש 30 גיגה־בייט זיכרון גרפי, כך שכרטיס של 24 גיגה־בייט יקרוס מיד מחוסר זיכרון.

האם המודל מבין הנחיות בעברית?

הנתונים מדווחים על תמיכה באנגלית בלבד. מנוע הטקסט שלו מאומן על אנגלית, ולכן כתיבת פרומפטים בעברית צפויה להניב תוצאות שגויות או לא יציבות.

איך מריצים

כדי להריץ אותו כמו שהוא ב־bfloat16 דרוש כרטיס שרת עם 30 גיגה־בייט זיכרון גרפי לפחות, למשל A100 או H100. הוא נתמך רשמית בספריית diffusers וקיים גם כתוספת עבור ComfyUI.

אם יש לכם כרטיס ביתי כמו RTX 4090 או RTX 3090 עם 24 גיגה־בייט, אין טעם לנסות להריץ את הגרסה הרגילה בלי התאמות. אפשר להוריד את צריכת הזיכרון ל־19 גיגה־בייט בעזרת פריקה למעבד, או להגיע ל־12.5 עד 15 גיגה־בייט באמצעות שילוב של גרסאות GGUF מכווצות והרחבת SageAttention.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("Motif-Technologies/Motif-Video-2B")
img = pipe("a photo").images[0]

הקבצים

31 קבצים במאגר, 16.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, לשלב אותו בתוך מוצרים סגורים ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗