LivePortrait

מה זה

הארכיטקטורה מפרקת את תהליך ההנפשה למודולים קטנים: חולץ מאפיינים, מודול תנועה, מודול עיוות ומחולל מבוסס SPADE, לצד רשתות MLP קטנות לחיבור והתאמת תנועה. החלוקה הזו שומרת על משקל כולל נמוך מאוד ומאפשרת להזין תמונת פנים בודדת ולהניע אותה באמצעות וידאו אחר, או לערוך הבעות בווידאו קיים.

במקום להסתמך על מודלי דיפוזיה כבדים שלוקחים שניות ארוכות לכל פריים, המערך הזה מרכיב פריים שלם במילישניות בודדות על כרטיס גרפי מודרני. הכרטיס מציג מדידות שבהן מחולל התמונה לוקח 7.59 מילישניות ומודול העיוות 5.21 מילישניות לפריים, מה שמתרגם בפועל לקצב עבודה מהיר בהרבה מזמן אמת עבור רצף וידאו.

מתאים ל

• הנפשת תמונות פרופיל

  יצירת סרטוני דיבור והבעה מתמונת סטילס אחת בלבד לפי סרטון שחקן מנחה.

• עריכת הבעות בווידאו קיים

  שינוי תווי פנים ומבט בסרטון קיים מבלי להקליט את כל הסצנה מחדש.

• הנפשת דמויות של חיות

  התאמת תנועות ראש והבעות לסרטוני חיות בזכות משקלי מודל ייעודיים לנושא.

איפה זה נופל

האלגוריתם תלוי מאוד באיכות הווידאו המניע. הוא מחייב שהפריים הראשון של הווידאו יכיל פנים חזיתיות בהבעה ניטרלית, ויחס התמונה צריך להיות ריבועי של אחד לאחד כדי למנוע עיוותים. אם הווידאו המקורי כולל תנועות כתפיים רחבות או זוויות קיצוניות, התוצאה הסופית מתעוותת סביב הצוואר והחיבור לגוף.

איך מריצים

כדי להריץ את הקוד צריך סביבת פייתון 3.9 והתקנה של FFmpeg במערכת ההפעלה. על כרטיס מסך Nvidia חזק כמו RTX 4090, הפעלת אופטימיזציית ההידור של PyTorch מקצרת את זמן הריצה ב־20 עד 30 אחוזים אחרי חימום ראשוני של כדקה.

משתמשי מקינטוש עם מעבדי אפל יכולים להריץ את המודלים דרך שכבת תאימות, אבל המפתחים מציינים במפורש שהביצועים שם איטיים פי 20 בערך בהשוואה לכרטיס ייעודי. מעבדי אינטל במק לא נתמכים כלל. אם אין לכם חומרה גרפית של Nvidia בשרת, מוטב לפנות לשירות ענן או סביבות קהילתיות מוכנות.

pip install -U huggingface_hub
hf download KlingTeam/LivePortrait

הקבצים

24 קבצים במאגר, 2.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• liveportrait_animals/xpose.pth435.1 MB
• liveportrait/base_models/spade_generator.pth221.8 MB
• liveportrait_animals/base_models/spade_generator.pth221.8 MB
• liveportrait_animals/base_models_v1.1/spade_generator.pth221.8 MB
• liveportrait/base_models/warping_module.pth182.2 MB
• liveportrait_animals/base_models/warping_module.pth182.2 MB
• liveportrait_animals/base_models_v1.1/warping_module.pth182.2 MB
• liveportrait/landmark.onnx114.7 MB
• liveportrait/base_models/motion_extractor.pth112.5 MB
• liveportrait_animals/base_models/motion_extractor.pth112.5 MB
• liveportrait_animals/base_models_v1.1/motion_extractor.pth112.5 MB
• insightface/models/buffalo_l/det_10g.onnx16.9 MB
• insightface/models/buffalo_l/2d106det.onnx5.0 MB
• liveportrait/base_models/appearance_feature_extractor.pth3.4 MB
• liveportrait_animals/base_models/appearance_feature_extractor.pth3.4 MB
• liveportrait_animals/base_models_v1.1/appearance_feature_extractor.pth3.4 MB
• docs/showcase2.gif2.9 MB
• liveportrait/retargeting_models/stitching_retargeting_module.pth2.4 MB
• liveportrait_animals/retargeting_models/stitching_retargeting_module.pth2.4 MB
• docs/inference.gif820.0 KB
• README.md12.6 KB
• .gitattributes2.8 KB
• .gitignore254 B
• .gitkeep0 B

הרישיון

הקוד והמשקלים שפורסמו בריפו זה מוגדרים תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗