AniPortrait_official

מה זה

מזינים תמונת פנים וקובץ שמע, או תמונה וסרטון מקור, והמערכת מחזירה סרטון שבו הדמות מונפשת ומדברת בהתאם למידע שנכנס. הממשק מחולק לשתי לשוניות: יצירה מקול לתוך וידאו, ויצירה מסרטון לסרטון שמשכפלת את תנועות הראש וההבעות על גבי תמונת הסטילס.

מאחורי הקלעים הקוד משלב מודל Audio2Mesh להפקת נקודות ציון בפנים לפי סאונד, PoseGuider להנחיית התנועה, ורשתות דיפוזיה מסוג UNet בדו-ממד ובתלת-ממד עם רכיבי AnimateDiff ו־PixArt. בדף יש דוגמאות מובנות להרצה, שמציגות כיצד תווי הפנים של תמונת הבסיס מתעוררים לחיים לפי תנועות מקור נתונות.

מתאים ל

• הנפשת תמונת סטילס מקול

  מעלים קובץ שמע ותמונת פנים כדי לקבל סרטון קצר שבו הדמות מדברת ומזיזה את השפתיים בהתאמה.

• העברת תנועה מראש קיים

  מעלים סרטון מקור ותמונה חדשה בלשונית Video2video כדי להעתיק את מחוות הפנים ישירות לדמות אחרת.

• בדיקת היתכנות לדיבוב

  מריצים דוגמאות שמע קצרות עם צעדי דגימה נמוכים כדי לבחון התאמת תנועה לפני שמעבדים מקומית.

איפה זה נופל

אורך הווידאו מוגבל ל־90 פריימים בלבד, ורזולוציית התוצאה המרבית נעצרת ב־512 פיקסלים. לא מפיקים פה סרטונים ארוכים או חדים במיוחד. בנוסף, חומרת zero-a10g מוקצית באופן דינמי, כך שאם יש תור או ניתוק המשימה עלולה להיקטע באמצע. מומלץ לבדוק קודם קטע קצרצר לפני שמנסים פריימים מלאים.

איך משתמשים

בוחרים לשונית, מעלים תמונה, מקליטים או מעלים קובץ קול, ולוחצים על כפתור Generate. אפשר לכוונן במחוונים את הרזולוציה בין 256 ל־512 פיקסלים, את מספר הצעדים ואת אורך הסרטון שמגיע עד 90 פריימים בלבד. ההרצה משתמשת במעבד גרפי zero-a10g של המרחב, ולכן העיבוד מתחיל רק כשמוקצה חומרה בפועל ועשוי לקחת מעט זמן כתלות בעומס ובאורך שבחרתם.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 המאפשר שימוש מסחרי, שינוי והפצה של הקוד. המידע והקבצים שאתם מעלים עוברים דרך השרתים שמארחים את המרחב בהאגינג פייס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗