Portrait-Animation

מה זה

מעלים תמונת סטילס של פנים וקובץ שמע, ולוחצים על כפתור ההפעלה כדי לקבל קובץ וידאו מונפש שבו הפנים מדברות בהתאם לקול.

מאחורי הממשק רצה שרשרת כבדה של מודלים. הקוד מתבסס על LeonJoe13/Sonic יחד עם Stable Video Diffusion ליצירת התנועה בווידאו, המודל Whisper-tiny של OpenAI לעיבוד נתוני הקול, ורכיבים של CLIP ו־Stable Diffusion של Lambda Labs לעיבוד התמונה. יש בממשק גם דוגמאות מוכנות שמאפשרות לבדוק את התוצאה בלי להעלות קבצים משלכם, וסליידר בשם dynamic scale לשליטה על ההנפשה.

מתאים ל

• הנפשת תמונות היסטוריות

  חיבור תמונת דיוקן ישנה לקובץ קריינות קצר כדי לגרום לדמות להיראות כאילו היא מדברת.

• דיבוב דמויות מאוירות

  יצירת סרטוני דיבור עבור איורים או דמויות גרפיות באמצעות העלאת תמונה וקול.

• בדיקת מודל Sonic מקומית

  בחינת קוד המקור והשילוב עם Whisper ו־SVD על מחשב אישי לצורכי פיתוח ומחקר.

איפה זה נופל

הבעיה המיידית היא שהיא פשוט לא עובדת וקורסת בשלב ההרצה. אם מנסים להריץ את הקוד באופן עצמאי, צריך לזכור שהמודלים האלה דורשים התאמה מלאה בין תנועות השפתיים לקול, וקובצי שמע חלשים או תמונות בזוויות קשות מייצרים עיוותים קשים בפנים.

איך משתמשים

בפועל, אי אפשר להשתמש בה כרגע בדפדפן. המצב הנוכחי שלה מוגדר כשגיאת בנייה, ולכן העמוד לא נטען לתצוגה פעילה. מעבר לזה, ההגדרה בחשבון היא מעבד בסיסי בלבד, מה שאומר שגם אם היא תעלה, יצירת וידאו דרך מודלים מורכבים כאלה ללא כרטיס מסך ייעודי תהיה אטית להחריד או תיכשל באמצע.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, וכל יצירה נגזרת חייבת לכלול ייחוס למקור ולהיות מופצת תחת אותם תנאי רישיון.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗