TANGO

מה זה

אתם מעלים קובץ שמע של דיבור או בוחרים מתוך רשימת הקלטות מובנות בממשק, ומקבלים סרטוני וידאו שמציגים דמות שמדברת ומניעה את הידיים והגוף בהתאם לקול. הממשק מציע גם קבצי תנועה תלת ממדית להורדה, שנועדו לפתיחה ולהדמיה בבלנדר. יש בעמוד שורה של עשרה סרטוני הדגמה מוכנים מראש שמציגים תוצאות של המודל.

מאחורי הקלעים הקוד משתמש במודלים מוכרים של עיבוד שפה ושמע. הוא טוען את wav2vec2-base-960h של פייסבוק לחילוץ מאפיינים מההקלטה, ואת bert-base-uncased של גוגל לניתוח טקסטואלי של הדיבור. השילוב ביניהם מזין את מודל התנועה TANGO, שמשתמש במאגר נתונים מוכן מראש בשם tango_cached_utils.

מתאים ל

• ייצוא נתוני תנועה לבלנדר

  הורדת קובץ התנועה התלת ממדית ישירות מתוך הממשק כדי לחבר אותו לשלד של דמות מותאמת בתוכנת אנימציה.

• בדיקת היתכנות לדיבור גוף

  בחינה מהירה של התאמת מחוות ידיים לקטעי דיבור מוקלטים באנגלית, לפני שמשקיעים זמן בהרצה של הקוד המלא.

• השוואת מחקר לתנועות דיבור

  הערכת הביצועים של שיטת TANGO ביחס למחקרים קודמים בתחום של הפקת תנועה משמע וטקסט.

איפה זה נופל

ההדגמה מוגבלת מאוד מבחינת גמישות ויזואלית. אי אפשר להעלות דמות מותאמת אישית מתוך הממשק, אלא מקבלים תנועה על בסיס דמות ברירת מחדל יחידה שמוגדרת מראש. בנוסף, מודל הדיבור ושפת הבסיס נשענים על מודלים שאומנו באנגלית בלבד. אם תזינו הקלטה בעברית, מאפייני הפונטיקה והטקסט לא יתורגמו נכון לתנועות גוף הגיוניות.

איך משתמשים

לוחצים על העלאת שמע או בוחרים דוגמה קיימת, קובעים מספר סיד אם רוצים לשלוט באקראיות, ולוחצים על כפתור יצירת הווידאו. דמות ברירת המחדל מוגדרת כסרטון קבוע שאינו ניתן לעריכה ישירה בטופס. אין צורך בהרשמה או בהתחברות לחשבון כדי להריץ.

המערכת יושבת על חומרת zero-a10g. המשמעות היא שהמעבד הגרפי מוקצה לפי דרישה, ולכן אם השרת היה במצב שינה, ההרצה הראשונה תדרוש זמן עליה של המכונה. כשיש תנועת משתמשים במקביל תצטרכו להמתין בתור של גרדיו.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון cc-by-nc-4.0. הרישיון מאפשר לשתף ולהתאים את החומרים לצרכים לימודיים או מחקריים בלבד, ואוסר לחלוטין כל שימוש מסחרי בתוצרים או במודל עצמו. אם אתם מייצרים סרטונים לטובת מוצר עסקי, תצטרכו לחפש פתרון אחר.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗