ChatGLM2-SadTalker-VC

מה זה

התהליך מתחיל בצ'אט טקסטואלי, שבו מקלידים הודעות ומקבלים מענה כתוב. לאחר מכן ממירים את הטקסט לאודיו בעזרת רכיב דיבור, וניתן להעלות דגימת קול כדי לשכפל את גוון הקול הרצוי. בשלב האחרון מעלים תמונת פנים, ומייצרים סרטון וידאו שבו הדמות מונפשת ומדברת בהתאם לקובץ השמע.

מאחורי הקלעים פועלת שרשרת של כמה מודלים. על יצירת הטקסט אחראי המודל ChatGLM2 בגרסת 6B, עיבוד האודיו והשכפול מסתמכים על WavLM ורכיבי FreeVC, והנפשת הפנים מבוצעת על בסיס SadTalker. הממשק מסודר בלשוניות נפרדות לטקסט ולווידאו, וכולל דוגמאות מובנות להנחיות טקסט שניתן להזין לשיחה.

מתאים ל

• הנפשת תמונת דיוקן

  יצירת סרטון קצר שבו דמות מתוך תמונה מדברת בקול שהופק מטקסט.

• שכפול קול עבור אודיו

  המרת תשובות טקסטואליות לקובץ שמע תוך שימוש בדגימת קול חיצונית.

• בדיקת שרשרת מודלים

  בחינת החיבור בין מודל שפה, שכפול קול והנפשת וידאו בממשק יחיד.

איפה זה נופל

הבעיה המיידית היא שהיישום שבור ולא פועל בעמוד כרגע. מעבר לכך, הממשק בנוי בסינית ומכוון לתמיכה בשפות סינית ואנגלית, כך שאין כאן תמיכה בעברית. גם אם תריצו את הקוד בעצמכם, שילוב של שלושה מודלים מורכבים ברצף יוצר תלות הדדית שבה כל כשל בהמרת הקול או בהתאמת השפתיים מפיל את התוצאה הסופית.

איך משתמשים

לוחצים על כפתורי השליחה בכל שלב, מהפקת התשובה הכתובה ועד יצירת האודיו והווידאו. אין צורך בחשבון כדי לצפות בממשק, אך היישום נמצא כעת במצב תקלת ריצה ולא מגיב. מעבר לכך, הוא מוגדר לפעול על חומרת מעבד בסיסית, כך שגם אם הקוד יעלה, הרצת מודלים כבדים כאלה ללא כרטיס גרפי תיקח דקות ארוכות לכל פלט.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והרצה בקוד פתוח. לגבי התמונות וקבצי הקול שמעלים, המידע מעובד על השרת המארח של המרחב ולא פורטו תנאים מיוחדים לגבי שמירת התוכן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗