MoDA-fast-talking-head

מה זה

האפליקציה מקבלת תמונת מקור של פנים וקובץ שמע שמניע את הדיבור, ומייצרת וידאו מסונכרן. בממשק בוחרים גם רגש מתוך רשימה סגורה ומכוונים את ערך ה־cfg_scale בסליידר כדי לשלוט בעוצמת ההשפעה. המערכת כוללת דוגמאות מובנות מראש, כמו קובץ תמונה שמספרו 7 וקובץ שמע שמספרו 5, כך שאפשר לבדוק את התוצאה עוד לפני שמעלים קבצים משלכם.

מאחורי הקלעים רץ הקוד של LiveVASAPipeline מתוך מודל lixinyizju/moda, יחד עם המודל השפתי google-bert/bert-base-uncased. הצינור הזה מנתח את האודיו ומייצר את תנועות הפנים וההבעות שמתאימות לדיבור, כשהעיבוד של קובצי הקול מתבצע בעזרת ספריית pydub שממירה אותם למבנה wav.

מתאים ל

• הנפשת תמונת פרופיל

  הופכים תמונת סטילס בודדת לסרטון קצר שמדבר בקול שלכם לפי קובץ הקלטה.

• בדיקת מודל MoDA

  בוחנים את איכות סנכרון השפתיים והתנועה של LiveVASAPipeline בדפדפן בלי להוריד משקלים.

• התאמת הבעות פנים לדיבור

  בודקים איך בחירת רגשות שונים ושינוי ה־cfg משפיעים על תנועת הפנים של אותה דמות.

איפה זה נופל

אם קובץ השמע פגום או לא ניתן להמרה לפורמט wav, התהליך ייעצר מיד בהודעת שגיאה. בנוסף, חובה לספק גם תמונה וגם שמע, כשהבעות הפנים מוגבלות לרשימת הרגשות שהוגדרה מראש במערכת. המודל מסתמך על הורדת משקלים מהרשת, כך שאם יש בעיית גישה למאגר המודל או ניתוק רגע, ההרצה תיכשל ולא תקבלו סרטון.

איך משתמשים

טוענים תמונה וקובץ קול, בוחרים רגש, ולוחצים על כפתור Generate Video. הריצה מתבצעת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה. אין צורך בהתחברות מיוחדת כדי להפעיל את הדמו, אבל בגלל השימוש בחומרה שיתופית ייתכן שתמתינו בתור קצר אם יש עומס, וסרגל ההתקדמות מציג את שלבי העיבוד בזמן אמת.

הרישיון

האפליקציה מפורסמת תחת רישיון mit, שמתיר שימוש חופשי, העתקה ושינוי של הקוד. המידע על הרישוי מתייחס למעטפת הקוד של הממשק, ולא מפורט תנאי שימוש נפרד לגבי זכויות היוצרים על התמונות וההקלטות שאתם מעלים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗