OmniTalker

מה זה

מזינים טקסט חופשי בתיבה ייעודית, בוחרים דמות מתוך דוגמאות מוגדרות מראש, ומקבלים סרטון וידאו שבו הדמות מדברת את מה שנכתב. הממשק מאפשר גם לשלוט במהירות הדיבור דרך סליידר בין אפס לשתיים, ולקבוע סיד מספרי כדי לנסות לקבל תוצאות עקביות או אקראיות.

מאחורי הקלעים עומד מחקר שפורסם במאמר ייעודי ובאתר הפרויקט humanaigc.github.io/omnitalker. הקוד בממשק עצמו לא מריץ את יצירת הווידאו על השרת המקומי, אלא שולח בקשות רשת לשרת חיצוני שמושך דוגמאות מוכנות ומעבד את התוצאה. הדוגמאות המוצגות מציגות סרטוני ייחוס של דמויות שונות ומאפשרות לראות איך המודל מניע אותן בהתאם לטקסט.

מתאים ל

• בדיקת איכות אנימציית פנים

  בחינת יכולת המודל לסנכרן תנועות שפתיים וטקסט על דמויות מוכנות מראש.

• הערכת מחקר אקדמי

  בדיקת התוצאות מהמאמר של הפרויקט ישירות מול טקסטים מותאמים אישית.

• שליטה במהירות דיבור

  התאמת קצב הדיבור של הדמות המונפשת באמצעות סליידר ייעודי.

איפה זה נופל

הבעיה המרכזית היא שהחלל נמצא במצב של שגיאת ריצה ולא עובד כרגע בדפדפן. בנוסף, לא ניתן להעלות סרטון ייחוס משלכם דרך הממשק, שכן שדה הווידאו נעול לעריכה ומסתמך רק על דמויות מובנות. אין מידע בקוד על תמיכה בשפות שאינן אנגלית, ולכן קשה להסתמך על זה לעברית.

איך משתמשים

לוחצים על דמות מתוך רשימת הדוגמאות, מקלידים טקסט, מכוונים מהירות לפי הצורך ולוחצים על Submit. אין צורך בהרשמה או התחברות. עם זאת, הדף מוגדר על חומרת מעבד בסיסית ואינו מבצע את החישוב הכבד בעצמו אלא פונה לשרת חיצוני. נכון לעכשיו הממשק מדווח על תקלת ריצה, כך שלחיצה לא תניב תוצאה בפועל.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי קוד בכפוף לתנאי הרישיון. הקוד עצמו מתקשר עם שרת מרוחק, ולכן כל טקסט שמוזן נשלח לכתובת חיצונית שאינה מפורטת במלואה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗