FantasyTalking — הדגמה

מה זה

מעלים תמונת פנים וקובץ אודיו, ומוסיפים תיאור טקסטואלי שמנחה את התוצאה. הממשק מחזיר קובץ וידאו שבו הדמות זזה ומדברת בהתאמה לקול. יש גם הגדרות לשליטה במספר הפריימים, גודל התמונה, מספר צעדי הדגימה ומשקל השמע לעומת הטקסט.

מאחורי הקלעים רץ שילוב של כמה מודלים כבדים. הוא משתמש ב־Wan2.1-I2V-14B ליצירת הווידאו מתמונה, ב־wav2vec2 של פייסבוק כדי לפענח את גלי הקול ולסנכרן את התנועה, ובמודל הייעודי של FantasyTalking. הממשק מציג גם דוגמאות מוכנות שאפשר להריץ ישירות כדי לראות איך זה עובד.

מתאים ל

• הנפשת תמונות לפרויקט

  יצירת סרטון קצר שבו דמות סטטית מקריאה משפט מתוך קובץ קול קיים.

• בדיקת מודל Wan2.1

  בחינת יכולות הסנכרון בין אודיו לווידאו לפני שמורידים את המשקלים למחשב.

• יצירת אווטאר מדבר

  דיבוב תמונת פרופיל או דמות מאוירת עם הנחיית טקסט מלווה לתנועה.

איפה זה נופל

המודל כבד מאוד ומייצר סרטונים קצרים בלבד, כך שלא תוכלו לזרוק אליו פודקאסט שלם ולקבל וידאו רציף. איכות התנועה של הפנים תלויה ישירות בחדות התמונה ובאיכות ההקלטה, וכל תנועה מורכבת מעבר לדיבור בסיסי עלולה לייצר מריחות מוזרות.

איך מריצים

טוענים תמונה, בוחרים אודיו ולוחצים על כפתור Generate Video. ההרצה מבוססת על תשתית Spaces עם חומרת Zero-A10G, מה שאומר שהמעבד הגרפי מוקצה רק בזמן החישוב. כשיש עומס או משתמשים נוספים בתור, זמן ההמתנה יתארך, ועיבוד של מודל וידאו בגודל 14 מיליארד פרמטרים ייקח כמה דקות טובות.

pip install -U huggingface_hub
hf download acvlab/FantasyTalking

הקבצים

4 קבצים במאגר, 3.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• fantasytalking_model.ckpt3.4 GB
• README.md4.7 KB
• README_zh.md4.5 KB
• .gitattributes1.5 KB

הרישיון

הקוד והמערכת זמינים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמות בקוד. לגבי התמונות וקבצי השמע שאתם מעלים, הזכויות נשארות שלכם בכפוף לתנאי השימוש של שרתי האחסון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗