audio-driven-animations
רץ בדפדפןmarlenezwcc-by-2.02023-02-15
הכלי מנפיש תמונת פנים לפי קובץ קול ומייצר מהם סרטון וידאו מדבר. הוא מיועד למי שרוצה לבדוק הנפשת תמונות סטילס על בסיס אודיו בלי לכתוב שורת קוד.
- —הורדות בחודש
- 36לייקים
מה זה
אתם מעלים תמונת פנים יחידה וקובץ קול, והממשק אמור לחבר ביניהם ולהוציא סרטון וידאו מונפש שבו הדמות מזיזה את הפנים בהתאם לדיבור. הממשק מציג דוגמה מוכנה מראש עם תמונה בשם example_image.jpg וקובץ קול בשם example_audio.wav, כדי שאפשר יהיה לראות את התוצאה בלי להעלות קבצים אישיים.
מאחורי הקלעים הקוד שומר את הקבצים בתוך תיקייה של פרויקט MakeItTalk. לצד זה, המערכת קשורה לשני מודלים נוספים של אותה יוצרת, AutoVC להמרת קול ורשת Self Attention. כל העיבוד מיועד לחבר את תנועות השפתיים והראש ישירות לתדרי השמע.
מתאים ל
- הנפשת תמונת סטילס
יצירת סרטון קצר שבו תמונת פנים מדברת לפי קובץ קול קיים.
- בדיקת מודל MakeItTalk
בחינת יכולות המודל והדיוק של תנועות הפנים מול קובץ wav.
- המחשת רעיון לתוכן
בדיקת היתכנות מהירה להנפשת דמות לפני פיתוח פתרון עצמאי.
איפה זה נופל
יש פה מגבלות קשיחות על הקבצים, התמונה חייבת להיות בגודל מדויק של 254 על 254 פיקסלים והסאונד חייב להגיע בפורמט wav בלבד. הבעיה הגדולה ביותר כרגע היא הסטטוס הטכני, האפליקציה מדווחת על שגיאת ריצה ולא עובדת כלל. מעבר לזה, הווידאו שיוצא מוגבל לרזולוציה נמוכה של 256 על 256 פיקסלים, כך שהוא לא מתאים לשימוש מקצועי או לתצוגה במסכים גדולים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה חופשית לגמרי דרך הדפדפן ואין דרישה למנוי או תשלום. עם זאת, נכון לעכשיו היא נמצאת במצב של שגיאת ריצה ולכן לא מייצרת סרטונים בפועל. אם היא תחזור לפעול, השימוש בה לא דורש שום פרטי אשראי.
אילו קבצים אפשר להעלות לכלי?
הכלי מוגבל מאוד בסוגי הקבצים שהוא יודע לקבל. התמונה חייבת להיות בדיוק במידות של 254 על 254 פיקסלים, והאודיו חייב להיות קובץ wav. העלאה של פורמט אחר כמו mp3 תיכשל מיד.
האם אפשר להריץ את הכלי במחשב האישי?
כן, הקוד מבוסס על ספריות פתוחות כמו gradio ופרויקט MakeItTalk. אפשר להוריד את הקבצים ולהריץ אותם בסביבת פייתון מקומית עם כרטיס מסך תואם. זה פתרון טוב במיוחד כרגע, לאור העובדה שהגרסה בדפדפן תקועה על שגיאה.
מה קורה עם התמונות וההקלטות שמעלים לשם?
הקוד שומר את הקבצים בתיקיית העבודה של השרת תחת השמות in_image ו־in_audio לצורך יצירת הווידאו. מאחר שמדובר בשרת ציבורי שרץ בענן, לא מומלץ להעלות לשם חומרים רגישים או תמונות פרטיות שאינכם רוצים שיישמרו ברשת.
איך משתמשים
בפועל אתם גוררים תמונה, מעלים הקלטה ולוחצים על כפתור ההפעלה בממשק gradio. לא צריך להירשם או לשלם, והסביבה מוגדרת לרוץ על מעבד גרפי מסוג t4-small שאמור לספק תוצאות תוך שניות ספורות עד דקה. העניין הוא שכרגע האפליקציה נמצאת במצב של שגיאת ריצה, ולכן אי אפשר באמת להפעיל אותה בדפדפן עד שהיוצרת תתקן את הקוד.
הרישיון
הפרויקט מפורסם תחת רישיון cc-by-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד, כל עוד נותנים קרדיט מתאים ליוצרת. הקבצים שאתם מעלים נשמרים מקומית בתיקיית הריצה של השרת בזמן העיבוד.