kevinwang676/SadTalker

מה זה

מעלים תמונת פנים אחת ומצרפים קובץ שמע. הממשק מעבד את התנועה לפי הדיבור ומפיק סרטון MP4 שבו הדמות מזיזה את השפתיים, הראש וההבעות בהתאם לצליל.

מאחורי הקלעים רץ המודל vinthony/SadTalker, שהוצג במקור בכנס CVPR 2023 ומחשב מקדמי תנועה תלת ממדיים מתוך קול. בהגדרות אפשר לבחור את רזולוציית המודל בין 256 ל־512, לקבוע את סגנון התנוחה מתוך 46 אפשרויות, ולהפעיל את GFPGAN לשיפור חדות הפנים.

הממשק נותן גם שליטה בעיבוד התמונה המקורית באמצעות חיתוך, שינוי גודל או תמונה מלאה, כולל מצב תנועה מופחתת שמרסן תזוזות מיותרות של הראש.

מתאים ל

• הנפשת תמונת סטילס

  חיבור קובץ קול מוקלט לתמונת פורטרט ליצירת סרטון שמזיז את השפתיים והראש.

• בדיקת פרמטרים של המודל

  השוואה בין מצבי חיתוך, גודל רזולוציה והפעלת GFPGAN לפני הטמעה במערכת עצמאית.

• יצירת דמות מדברת קצרה

  הפקת סרטון קצר לדמות וירטואלית מתוך תמונה קיימת עבור הצגה מהירה בדפדפן.

איפה זה נופל

חומרת המעבד החלשה היא צוואר בקבוק רציני, וסרטונים ארוכים עלולים להיכשל או להיגרר דקות ארוכות. הממשק לא כולל כלי מובנה להקלטת קול ישירה או מנגנון טקסט לדיבור, למרות הכיתוב בלשונית, כך שחייבים להכין קובץ שמע מראש. איכות האנימציה תלויה לחלוטין בהתאמת התמונה, ועיבוד שגוי עלול לייצר עיוותים באזור הצוואר והפה.

איך משתמשים

גוררים תמונה ללשונית ההעלאה, בוחרים קובץ שמע, מכוונים את הפרמטרים ולוחצים על Generate. אין צורך בהרשמה או התחברות כדי להתחיל לעבוד.

האפליקציה רצה על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי. זה אומר שעיבוד של קטע קצר ייקח לא מעט זמן, בייחוד אם מפעילים רזולוציה גבוהה או את משפר הפנים.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. התכנים שאתם מעלים מועברים לשרתי Hugging Face לצורך העיבוד, ואין התחייבות לפרטיות הקבצים ברמת האפליקציה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗