MotionDiffuse

מה זה

אתם מקלידים תיאור טקסט של פעולה ומכוונים סליידר שקובע את אורך הרצף, בטווח שנע בין 20 ל־196 פריימים עם ברירת מחדל של 60. מהתיאור הזה הממשק אמור להפיק הנפשה או רצף תנועה תלת ממדי של דמות אנושית לפי ההנחיה שכתבתם.

מאחורי הקלעים רץ MotionTransformer יחד עם תהליך אימון והסקה מסוג DDPMTrainer, כלומר מודל דיפוזיה שמייצר תנועה הדרגתית מרעש אקראי על בסיס הטקסט. הקוד בקובץ ההפעלה כולל הגדרות לדוגמאות מוכנות מראש, ומפנה לעמוד הפרויקט של החוקרים למי שרוצה להעמיק בפרטים הטכניים.

מתאים ל

• בדיקת תנועה מטקסט

  הזנת תיאור קצר כדי לבחון איך מודל דיפוזיה מתרגם מילים לתנועה.

• קביעת אורך סצנה

  ניסוי באורכי רצף שונים בין 20 ל־196 פריימים לבדיקת יציבות.

• למידת קוד המודל

  בחינת החיבור בין מנוע הדיפוזיה לממשק גרדיו לפי קובצי המקור.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט קורסת ולא פועלת כרגע בשרת. מעבר לכך, היא מוגבלת למספר פריימים מוגדר מראש עד 196 ולא תייצר רצפים ארוכים או מורכבים יותר, ואין שום ערובה שהתנועה שתתקבל תיראה טבעית או יציבה בלי עיוותים בשלד.

איך משתמשים

בפועל אתם לא יכולים להריץ כאן כלום כרגע כי הדף מדווח על שגיאת ריצה כללית, RUNTIME_ERROR. גם כשהוא עובד, החומרה שמוקצית לו היא מעבד בסיסי בלבד ללא מאיץ גרפי. חישוב של מודל דיפוזיה על חומרה כזאת ידרוש בדרך כלל המתנה ממושכת לכל יצירה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. לגבי התוצר והטקסט שאתם מזינים, הרישיון לא מטיל מגבלות מיוחדות אך כדאי לבדוק את תנאי המודל המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗