LivePortrait — הדגמה

קוד פתוח

KlingTeammit2024-07-05

gradio
Multimodal
Motion control
Image-to-Video
Video-to-Video

הכלי מפעיל תנועות מפנים של אדם בווידאו על גבי תמונת פורטרט דוממת. אתם מקבלים סרטון שמזיז את התמונה בדיוק לפי הבעות הפנים מהסרטון המקורי.

2.0 GBמשקל הקבצים
—הורדות בחודש
3,788לייקים

מה זה

אתם מעלים תמונת סטילס אחת של פנים וסרטון קצר שמשמש מקור תנועה. הכלי מחלץ את הבעות הפנים והתנועות מסרטון המקור, ומעביר אותן אל התמונה הדוממת כדי לייצר אנימציה חיה. התוצאה מופקת בשתי גרסאות, האחת ממוקדת בפנים החתוכות, והשנייה שותלת את הפנים המונפשות בחזרה לתוך הרקע של התמונה המקורית.

בנוסף להנפשה מלאה מווידאו, הקוד כולל מצב עריכה עדין לתמונות סטילס. במצב הזה אתם מעלים תמונה בלבד, ומכוונים מחוונים ידניים של יחס פתיחת עיניים ופתיחת שפתיים מ־0 עד 0.8 כדי לשנות הבעה נקודתית בלי צורך בווידאו מנחה.

מתאים ל

הנפשת תמונת סטילס מווידאו
מעלים פורטרט וסרטון הבעות, ומפיקים אנימציה שמעתיקה את המבט והדיבור ישירות לתמונה.
שליטה ידנית בעיניים ובפה
מזיזים מחוונים מוגדרים מראש כדי לפתוח או לסגור עיניים ושפתיים בדיוק הרצוי על גבי תמונה.
החלפת פנים משולבת ברקע
מפעילים אפשרות שתילה חזרה כדי לקבל את הדמות המונפשת בתוך מסגרת התמונה השלמה.

איפה זה נופל

המגבלה הטכנית הברורה ביותר בקוד היא הדרישה לסרטון מרובע. אם תעלו וידאו שאינו ביחס 1:1, התוכנה תזרוק שגיאה מפורשת ולא תעבוד. בנוסף, הדוגמאות המובנות לא נשמרות במטמון ומעובדות מחדש, כך שאי אפשר להסתמך על תצוגה מקדימה מיידית. אם תמונת המקור באיכות נמוכה או בזווית חדה, השתילה חזרה לרקע המקורי עלולה לייצר עיוותים ברורים.

שאלות
נפוצות

האם השימוש בחינם?

כן, ההדגמה פתוחה לחלוטין בדפדפן ולא דורשת תשלום. היא רצה על תשתית שיתופית עם חומרת A10G שמוקצית לריצה הזו. ייתכנו זמני המתנה קלים כשיש עומס משתמשים.

למה מופיעה שגיאה כשאני מעלה סרטון?

הקוד דורש במפורש סרטון בעל יחס תצוגה ריבועי בלבד. אם הסרטון שלכם רחב או אנכי, הוא יידחה מיד בהודעת שגיאה. עליכם לחתוך את הווידאו ליחס 1:1 לפני ההעלאה.

האם התמונות והסרטונים שלי נשמרים במאגר?

הקבצים שלכם מועלים זמנית לשרת לצורך פעולת ההנפשה והעיבוד בלבד. הממשק מספק כפתורי Clear לאיפוס התצוגה והשדות בכל שלב. עם זאת, מדובר בסביבה מקוונת ציבורית ולא במערכת מאובטחת מקומית.

במה הממשק הזה שונה מהרצת המודל לבד?

הממשק מציג גרסת דפדפן מוכנה עם כפתורים, מחוונים ותצוגות וידאו מקבילות בלי צורך בהתקנת ספריות קוד. הוא מפשט את התהליך אבל גם מגביל אתכם להגדרות ברירת המחדל, כמו חובת יחס ריבועי בווידאו.

איך מריצים

טוענים תמונה וסרטון מנחה, או בוחרים מתוך הדוגמאות המוכנות בדף. אפשר לסמן הגדרות כמו תנועה יחסית וחיתוך אוטומטי, ואז לוחצים על כפתור Animate כדי להתחיל את העיבוד. הביצוע רץ על חומרת zero-a10g שמקצה כוח מחשוב לפי דרישה, מה שאומר שאין צורך בהתקנה, אבל ייתכן שתמתינו בתור קצר עד שהשרת יתפנה ויעבד את הווידאו.

pip install -U huggingface_hub
hf download KlingTeam/LivePortrait

הקבצים

24 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של היישום לא דווח בקוד או בתיאור המערכת. במצב כזה אין הרשאה מפורשת לשימוש מסחרי, ומומלץ להתייחס לקוד ולתוצאות ככלי להדגמה ומחקר בלבד עד שיוגדרו תנאי שימוש רשמיים.

שימוש מסחרי
שינוי הקוד
הפצה מחדש

הרישיון המלא בעמוד המודל ↗