Free-View_Expressive_Talking_Head_Video_Editing

מה זה

האפליקציה מקבלת קובץ וידאו קיים של ראש מדבר וקובץ שמע, ומייצרת סרטון חדש שבו תווי הפנים זזים לפי ההגדרות. היא מאפשרת לבחור כיוון ראש מתוך שתי אפשרויות קבועות, להחיל אחת מארבע הבעות פנים שונות, ולקבוע אם הדמות תמצמץ במהלך הדיבור.

בקוד המקור רואים שימוש בקבצי דוגמה מוכנים מראש שנמצאים בתיקיית הנכסים של המערכת. התהליך עצמו מתבסס על פונקציות עיבוד פנימיות שגוזרות את תנוחת הראש, הרגש והמצמוצים מתוך הבחירות שלכם, ומרכיבות אותן מחדש יחד עם קול הדיבור לתוך הווידאו שמוצג בצד השני של המסך.

מתאים ל

• בדיקת איכות של מודל עריכה

  צפייה מהירה בהשפעת שילוב הבעות פנים ותנועות שונות על סרטוני דוגמה קיימים.

• השוואת הבעות על אותו וידאו

  בחינה כיצד מבע כועס, שמח או מופתע משנה את תנועת השפתיים בסנכרון לשמע.

• התרשמות מיכולות סנכרון שפתיים

  בדיקת הדיוק בין קובץ הקול הנבחר לתנועת הפה המרונדרת מחדש בדפדפן.

איפה זה נופל

הממשק אינו מציע אפשרות להעלות סרטון עצמאי מהמחשב שלכם או להקליט אודיו מקורי. הבחירה מוגבלת לחלוטין לקבצי הדוגמה המובנים, כך שאי אפשר לבדוק איך המודל מתמודד עם אנשים אחרים, זוויות צילום שונות או דיבור בעברית. בנוסף, חופש השליטה בתוצאה נמוך מאוד ומסתכם בבחירה בין שתי זוויות ראש וארבע הבעות פנים קבועות בלבד, בלי שום כוונון עדין של העוצמה.

איך משתמשים

נכנסים לממשק ובוחרים סרטון מקור מתוך רשימה נפתחת, לצד קובץ שמע שילווה אותו. לאחר מכן מסמנים תנוחת ראש ישרה או תנועה לצדדים, בוחרים הבעה בין שמחה, כעס, הפתעה או ניטרלי, ומגדירים אם יהיו מצמוצים. לוחצים על כפתור יצירת הווידאו וממתינים. הריצה מתבצעת על גבי חומרת מעבד גרפי ייעודית מדגם A10G שמוקצית לפי דרישה, כך שלא צריך להירשם או לשלם כדי להריץ, אבל ייתכן עיכוב קל בזמן שהמעבד מוקצה ומתחיל לעבד את הפריימים.

הרישיון

הפרויקט מפורסם ברישיון cc-by-nc-4.0. המשמעות היא שאתם רשאים לצפות, לבחון ולשתף את התוצאות כל עוד אתם נותנים קרדיט ליוצרים, אך אסור לעשות בהן כל שימוש מסחרי או לשלב אותן במוצרים מניבי רווח.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗