MagicTime

מה זה

האפליקציה מקבלת תיאור טקסטואלי, פרומפט שלילי, ובחירה של מודל בסיס ורכיב תנועה. בתפריט המתקדם אפשר להגדיר מידות רוחב וגובה בין 256 ל־1024 פיקסלים לצד סיד אקראי או קבוע. הפלט הוא קובץ וידאו המציג את תהליך השינוי יחד עם תצורת ההרצה בפורמט JSON.

מאחורי הקלעים פועל שילוב של AnimateDiff ו־Stable Diffusion בגרסאות מוקדמות, לצד מתאמים ייעודיים שפותחו במחקר MagicTime ואומנו על מאגר ChronoMagic שכולל 2,265 צמדי וידאו וטקסט. המערכת מחברת מקודד טקסט של CLIP עם ארכיטקטורת UNet תלת מימדית שמדמה שינויים הדרגתיים על פני ציר הזמן.

הדוגמאות המובנות בממשק מתמקדות בתהליכים טבעיים ומלאכותיים מובהקים: נביטה וצמיחה של זרעי שעועית, פריחה של ניצנים, אפיית בצק בתנור, קוביית קרח נמסה ובנייה של בית בעולם של מיינקראפט.

מתאים ל

• הדמיית צמיחה ופריחה

  יצירת אנימציות קצרות המציגות נביטת זרעים ופריחת פרחים שלב אחרי שלב מתוך תיאור מילולי.

• המחשת תהליכי אפייה והמסה

  הפקת סרטונים של שינויי חומר כמו התנפחות בצק בתנור או קוביית קרח שהופכת למים.

• בדיקת מודלים ומחקרי וידאו

  השוואת יכולות הדיוק הפיזיקלי של מודל MagicTime מול פתרונות טקסט לווידאו אחרים.

איפה זה נופל

נכון לעכשיו האפליקציה במצב של שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להריץ אותה ישירות בדפדפן בלי שהיוצרים יתקנו את הסביבה. מעבר לזה, המודלים מתחת מתבססים על גרסאות ישנות של Stable Diffusion ברזולוציה מקורית של 512 פיקסלים, כך שהפלט סובל ממריחות ואיכות מוגבלת, והסרטונים קצרים מאוד לעומת טיימלאפס אמיתי.

איך משתמשים

בוחרים מודל ורכיב תנועה, מקלידים תיאור באנגלית ולוחצים על כפתור הייצור. ההרצה מבוססת על שבב A10G של אנבידיה דרך תשתית ZeroGPU, מה שאומר שזמני העיבוד עשויים לקחת בין חצי דקה לכמה דקות בהתאם לרזולוציה ולעומס. אין דרישת התחברות כדי לגשת לממשק, אבל הדגמות שמבוססות על הקצאת זיכרון דינמית נוטות להגביל את משך השימוש הרציף.

הרישיון

הפרויקט והקוד מופצים תחת רישיון קוד פתוח מסוג Apache 2.0, שמאפשר שימוש מסחרי, שינוי והפצה בהתאם לתנאי הרישיון. תנאי השימוש בתוכן שתעלו או תפיקו כפופים גם למדיניות המודלים שבבסיס המערכת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗