LMM

מה זה

אתם כותבים תיאור טקסטואלי, יכולים לסמן תיבת בחירה ולהעלות קובץ שמע, ובוחרים את אורך התנועה הרצוי בסליידר שנע בין 20 ל־200 פריימים, בקצב של 20 פריימים לשנייה. הפלט שמקבלים הוא קובץ וידאו שמציג שלד תלת ממדי זז בהתאם להנחיות. הממשק מציע גם קובצי שמע מוכנים כמו צלילי כעס או הפתעה כדי לבדוק איך האודיו משפיע על התנועה.

מאחורי הקלעים רץ LMM, מודל שמבוסס על ספריית mogen ומשתמש ב־ImageBind כדי לחבר בין טקסט, אודיו ותנועה. הוא מושך נתונים ממאגר ייעודי של היוצר בשם data_hf, מעבד את השלד עם שיטות של MMCV, ומרנדר את הפריימים של התנועה ישירות לקובץ וידאו שמוצג בדפדפן.

מתאים ל

• בדיקת תנועה מטקסט ושמע

  מזינים משפט באנגלית וקובץ קול קצר כדי לראות איך שלד ממוחשב מגיב ומבצע את הפעולה.

• הפקת וידאו להדגמת מחקר

  מייצרים סרטוני שלד קצרים להשוואה מול שיטות גנרטיביות אחרות בתחום האנימציה.

• התנסות בדוגמאות רגש

  טוענים צליל של כעס או הפתעה מתוך הדוגמאות המוכנות ובודקים את השפעת האודיו על התנועה.

איפה זה נופל

הבעיה המיידית היא שהעמוד פשוט לא עובד כרגע בגלל שגיאת קוד בריצה. חוץ מזה, מקבלים רק סרטון של שלד גרפי בסיסי ולא מודל תלת ממדי מולבש או קובץ אנימציה שאפשר לייבא ישירות למנועי משחקים. אם הטקסט והאודיו לא תואמים, או אם בוחרים אורך מקסימלי של 200 פריימים, העיבוד על חומרת T4 עלול להיות כבד ומוגבל.

איך משתמשים

בפועל, כרגע אי אפשר להריץ את ההדגמה בדפדפן כי היא מדווחת על שגיאת ריצה בעלייה, RUNTIME_ERROR. במצב תקין פשוט מזינים טקסט, בוחרים או מעלים סאונד ולוחצים על שליחה. החומרה שמוקצית שם היא מעבד גרפי t4-small, כך שגם כשהקוד יתוקן, תהליך העיבוד של מודלים כאלה ייקח קצת זמן לכל סרטון ולא יקרה מיד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שנותן חופש כמעט מלא להשתמש בקוד, להעתיק אותו ולשנות אותו. לגבי הנתונים והקבצים שמעלים, הם נשלחים לשרתי המרחב של Hugging Face לצורך העיבוד, ולכן לא מומלץ להעלות לשם הקלטות פרטיות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗