EMAGE

מה זה

מעלים הקלטת שמע בפורמט קול רגיל ובוחרים מודל מתוך שלושה: DisCo או CaMN שמתמקדים רק בפלג גוף עליון, או EMAGE שמייצר תנועה לגוף מלא ולפנים יחד. הפלט מציג סרטוני וידאו של תנועת הגוף בדו ממד, לצד אפשרות לצפייה ברינדור של רשת תלת ממדית מלאה ובנקודות ציון של הפנים.

מאחורי הקלעים רצים מודלים של VQ-VAE לחלקי גוף שונים כמו פלג גוף עליון, תחתון, ידיים ופנים, לצד מודל תנועה גלובלי. בסיום העיבוד מקבלים קובץ נתוני תנועה בפורמט NPZ, שאותו אפשר להוריד ולייבא לבלנדר בעזרת תוסף ייעודי של הפרויקט מתוך מאגר הכלים של BEAT2.

מתאים ל

• הנפשת דמויות מדיבור

  הפקת קובץ תנועה מלא מקול מוכן בשביל לייבא לבלנדר ולהלביש על מודל תלת ממדי.

• השוואת מודלי מחוות

  בדיקת איכות התנועה בין DisCo, CaMN ו־EMAGE על אותו קובץ שמע ישירות בדפדפן.

• יצירת תנועות פנים בדו ממד

  רינדור מהיר של נקודות ציון בפנים לצורך בדיקת סנכרון שפתיים ומחוות הבעה.

איפה זה נופל

אם תבחרו בכל אפשרויות הרינדור המתקדמות של הרשת התלת ממדית, זמן ההמתנה בדפדפן עולה בצורה משמעותית ולא מתאים לבדיקות מהירות. בנוסף, הממשק מחזיר וידאו לצפייה וקובץ NPZ בלבד. זה אומר שאי אפשר לייצא ישירות קובץ אנימציה סטנדרטי כמו FBX בלי לעבור דרך בלנדר והתוסף של המפתחים.

איך משתמשים

גוררים קובץ אודיו לממשק, בוחרים מודל ומסמנים אילו רינדורים להציג בווידאו. לוחצים על כפתור ההרצה ומחכים. הריצה מתבצעת על מאיץ A10G דרך זיכרון שיתופי, כך שאין צורך בהתחברות או תשלום. רינדור של נקודות פנים לוקח כארבע שניות עבור שבע שניות שמע, אבל רינדור של רשת גוף מלאה ייקח לפחות דקה, ורינדור פנים ברשת מוגדר כממושך מאוד.

הרישיון

הקוד והמודלים מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בכפוף לתנאי הרישיון. הקבצים שאתם מעלים והתוצרים שמופקים מעובדים ישירות בסביבת העבודה הפעילה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗