SadTalker — הדגמה

קוד פתוח

vinthonymit2022-12-28

gradio

הופך תמונת פנים סטטית וקובץ שמע לסרטון של דמות מדברת וממצמצת. מתאים למי שרוצה ליצור אנימציית ראש מהירה בלי לצלם וידאו.

3.7 GBמשקל הקבצים
—הורדות בחודש
1,429לייקים

מה זה

מעלים תמונת פנים יחידה וקובץ שמע באורך של עד 180 שניות, או סרטון הפניה שממנו נלקחות תנועות הראש והמצמוץ. במקום דיבוב אפשר גם להפעיל מצב סרק שבו הפנים פשוט זזות וממצמצות לכמה שניות ללא קול. הפלט המתקבל הוא סרטון בפורמט MP4 שבו תווי הפנים מונפשים בסנכרון עם הקול.

מאחורי הקלעים רץ המודל SadTalker בגרסאות הבסיס או SadTalker-V002rc, שלומד מקדמי תנועה תלת ממדיים מתוך האודיו כדי להזיז את הראש וההבעות בצורה סגנונית. הממשק כולל מנועי רינדור פנים לבחירה, facevid2vid או pirender, ואפשרות להפעלת משפר הפנים GFPGAN כדי לחדד את התוצאה הסופית ברזולוציות של 256 או 512.

מתאים ל

הנפשת תמונות ישנות
לקיחת דיוקן קיים ושילוב הקלטת קול ישנה כדי ליצור סרטון דיבור משפחתי.
יצירת דמות מדברת לתוכן
הנפשת תמונת פרופיל מותאמת עבור פודקאסטים או ערוצי תוכן ללא מצלמה.
דיבוב פנים שקטות מסרטון
שימוש בתנועות ראש של סרטון הפניה כדי להדביק אותן על תמונה עם קובץ שמע.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין, העמוד תקוע על שגיאת בנייה ואי אפשר להריץ אותו באתר. מעבר לכך, הממשק מגביל את אורך קובץ השמע לעד 180 שניות בלבד, כך שלא ניתן לעבד הקלטות ארוכות ברצף. בנוסף, בחירה ברזולוציה מקסימלית של 512 והפעלת משפר התמונה דורשות משאבים כבדים ועלולות ליצור עיוותים באנימציה אם התמונה המקורית לא מיושרת היטב לפי חיתוך הפנים שנבחר בהגדרות.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה הזאת כרגע בדפדפן?

לא, המצב של העמוד מוגדר כשגיאת בנייה. כל עוד המפתח לא יתקן את ההתקנה של הקוד והמשאבים, אי אפשר להעלות קבצים או ללחוץ על כפתור ההפקה.

האם השימוש בה כרוך בתשלום?

ההדגמה עצמה מוצעת בחינם תחת רישיון קוד פתוח. אין מודל מנויים או דרישת תשלום המופיעה בקוד, אך כאמור היא לא זמינה לשימוש מעשי כרגע באתר.

כמה זמן לוקח לייצר סרטון?

האפליקציה מוגדרת לרוץ על כרטיס L4 יחיד, מה שמבטיח עיבוד מהיר יחסית של שניות או דקות בודדות. משך הזמן בפועל תלוי באורך קובץ השמע, שמוגבל ל־180 שניות, ובשאלה אם מפעילים את משפר הפנים GFPGAN.

האם ניתן להריץ את הכלי במחשב באופן מקומי?

כן, הקוד מבוסס על Gradio ומאגר הגיטהאב הפתוח של SadTalker ברישיון MIT. אפשר להוריד את המודלים והתלויות ולהריץ את אותו הממשק בדיוק על מחשב עם חומרה מתאימה.

איך מריצים

טוענים תמונה, בוחרים קובץ שמע, מכוונים פרמטרים כמו סגנון תנוחה, עוצמת הבעה, וגודל עיבוד, ואז לוחצים על Generate. ההדגמה מוגדרת לרוץ על מעבד גרפי יחיד מסוג L4, חומרה שמספקת מהירות עיבוד טובה, אך נכון לעכשיו העמוד נמצא במצב שגיאת בנייה ולכן אינו מגיב בדפדפן.

pip install -U huggingface_hub
hf download vinthony/SadTalker

הקבצים

22 קבצים במאגר, 3.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הקוד וההדגמה מופצים תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי המידע שמעלים או הסרטונים שמיוצרים, אין פירוט בתנאים לגבי שמירת הקבצים בשרת.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗