EchoMimic — הדגמה

קוד פתוח

BadToBestרישיון לא דווח2024-08-01

gradio

הכלי מנפיש תמונת פנים לפי קובץ קול או תנועת נקודות ציון. הוא מתאים למי שרוצה ליצור סרטון דיבור או שירה מתמונה בודדת.

32.0 GBמשקל הקבצים
—הורדות בחודש
95לייקים

מה זה

הקלט הבסיסי מורכב מתמונת פנים וקובץ שמע, או רצף תנועה שמבוסס על ציוני דרך בפנים. הפלט שמתקבל הוא סרטון שבו הדמות מניעה את השפתיים והראש בהתאמה לקול. דוגמאות הפרויקט מציגות דיבוב באנגלית, מנדרינית ושירה חיה, לצד שליטה ידנית בהטיות הראש.

מאחורי הקלעים רץ שילוב של AnimateDiff יחד עם מודלים ייעודיים של EchoMimic, רכיבי VAE ומעבד שמע של Whisper. המערכת משתמשת בנקודות ציון גמישות כדי לשמור על יציבות תווי הפנים בזמן הדיבור, ומאפשרת להזין שמע בלבד או לשלב גם תנועות פוזה קיימות מסרטון אחר.

מתאים ל

הנפשת תמונות לשירה
חיבור שיר מוקלט לתמונת פורטרט ליצירת סרטון מוזיקלי שבו הדמות שרה.
דיבוב תמונות לקול
המרת תמונת סטילס להקלטת דיבור באנגלית או סינית עם סנכרון תנועות פה.
שחזור תנועה מסרטון מקור
העתקת הבעות פנים והטיות ראש מסרטון קיים אל תמונה חדשה לחלוטין.

איפה זה נופל

ההדגמה הנוכחית פשוט לא עובדת וקורסת בשגיאה, כך שאי אפשר לבדוק אותה ישירות ברשת. מעבר לזה, המודל מאומן במקור על אנגלית ומנדרינית, ולכן סנכרון שפתיים בעברית עשוי להיראות פחות מדויק או מקרטע. דוגמאות הווידאו הרשמיות נבחרו בקפידה, ובפועל זוויות ראש חדות או איכות שמע ירודה יוצרות עיוותים בפנים.

שאלות
נפוצות

האם אפשר להשתמש באפליקציה כרגע בדפדפן?

לא. ההדגמה מדווחת במצב של RUNTIME_ERROR ואינה פועלת. כדי לנסות את היכולות צריך להוריד את הקוד ולהריץ אותו באופן עצמאי.

האם אפשר להריץ את הכלי על המחשב האישי?

כן, הקוד והמשקלים פתוחים להורדה. יש גרסאות מבוססות סקריפט, WebUI וגם תמיכה ב־ComfyUI, אך נדרש כרטיס מסך חזק של 16GB זיכרון ומעלה.

במה ההדגמה שונה מהמודל המקורי?

ההדגמה היא ממשק gradio פשוט שנועד להרצה מהירה בענן. המודל המקורי כולל אפשרויות שליטה מתקדמות יותר, שילוב של סרטוני פוזה והאצה גרפית שלא קיימות כאן.

איך מריצים

בממשק מעלים תמונה, בוחרים קובץ קול או סרטון להעתקת תנועה, ולוחצים על הפעלה. כרגע לא ניתן להריץ את העיבוד בדפדפן כי ההדגמה נמצאת במצב של שגיאת ריצה. באופן עקרוני היא מוגדרת על חומרת zero-a10g, כך שגם אם תחזור לפעול, יצירת וידאו דורשת זמן עיבוד ממושך ולא תסתיים תוך שניות בודדות.

pip install -U huggingface_hub
hf download BadToBest/EchoMimic

הקבצים

38 קבצים במאגר, 32.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

הרישיון

הרישיון של המרחב לא דווח כלל במאגר. במצב כזה אין אישור שימוש מוגדר, ואי אפשר לדעת אם מותר להשתמש בתוצרים לצרכים מסחריים או מה המדיניות לגבי הקבצים שמועלים.

הרישיון המלא בעמוד המודל ↗