ml-talking-face

מה זה

מזינים טקסט חופשי ובוחרים אחת מארבע שפות נתמכות: קוריאנית, אנגלית, יפנית או סינית. בנוסף אפשר לקבוע את קצב הדיבור, לבחור תנועת גוף כמו תנועת יד אחת או שתיים, ולהחליף רקע לאפשרויות כמו נהר, שמיים או לוגו הכנס. המערכת מחזירה סרטון בפורמט MP4 של דמות שמדברת את הטקסט, לצד תרגום ובדיקת רעילות של התוכן.

מאחורי הקלעים רץ המודל deepkyu/ml-talking-face יחד עם מנגנון דיבור רב לשוני, תרגום ובדיקת טקסט מול Perspective API. הקוד מתממשק לשרת מרוחק דרך REST API כדי לבצע את הרינדור של הווידאו.

מתאים ל

• בחינת מודל CVPR

  בדיקת איכות סנכרון השפתיים והתנועות שהחוקרים הציגו במאמר.

• הפקת וידאו קצר באנגלית

  יצירת דמות שמקריאה טקסט פשוט באנגלית לצורכי בדיקה פנימית.

• ניסוי בדיבור רב לשוני

  השוואת הפלט בקוריאנית, סינית או יפנית מול אותו הטקסט.

איפה זה נופל

הבעיה המיידית היא שההדגמה לא נבנית ואינה זמינה לשימוש. מעבר לכך, אין כאן תמיכה בעברית אלא רק בארבע שפות אסייתיות ואנגלית. אי אפשר להעלות דמות משלכם או לשנות את מראה הפנים מעבר לבחירת הרקע והתנועות המובנות.

איך משתמשים

כרגע אי אפשר להריץ את ההדגמה ישירות בדפדפן כי השרת נמצא במצב שגיאת בנייה. במצב תקין מזינים את הטקסט בתיבה, בוחרים שפה, רקע ותנועה ולוחצים על Run. ההדגמה מוגדרת על מעבד בסיסי, כך שיצירת וידאו כזה דרך הממשק עשויה לדרוש המתנה ארוכה.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון cc-by-nc-sa-4.0. השימוש מותר למטרות לא מסחריות בלבד, עם מתן קרדיט ושיתוף תחת אותו רישיון. הטקסט והווידאו שנוצרים מוגבלים גם הם לאפיקים לא מסחריים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗