echomimic-v2
רץ בדפדפןfffiloniרישיון לא דווח2024-11-27
המרחב הזה מנפיש תמונת פורטרט סטטית לפי קובץ שמע והנחיות תנועה, ומפיק וידאו מדבר. הוא מיועד ליוצרים שמחפשים לבדוק אנימציה מסונכרנת של פנים ומחוות גוף.
- —הורדות בחודש
- 84לייקים
מה זה
מעלים תמונת פנים או גוף, מוסיפים קובץ שמע, ומגדירים נתוני תנוחת גוף בתיבת הטקסט. בהגדרות המתקדמות אפשר לקבוע רזולוציה עם המלצה על 768 על 768 פיקסלים, מספר פריימים, קצב תמונות לשנייה וערכי דיגום.
מאחורי הקלעים הקוד משלב את BadToBest/EchoMimicV2 עם רכיבי דיפוזיה, ובהם מודל VAE של stabilityai, עבודה עם UNet ייעודי לתנועה ושכבות התאמה מתמונות נוספות. יש כאן גם תמיכה בכימות int8 לזיכרון נמוך דרך ספריית torchao כדי להאיץ את התהליך.
מתאים ל
- בדיקת מבנה הממשק
היכרות עם הפרמטרים של EchoMimicV2, גודלי הווידאו וערכי הדיגום לפני שמקימים סביבה בתשלום.
- בסיס לשכפול על GPU
העתקת הקוד לפרופיל אישי והרצה על גבי כרטיס מסך כדי להנפיש פורטרט עם סאונד.
- למידת קוד ההטמעה
בחינת האופן שבו הקוד מחבר את מודלי הדיפוזיה, ה־VAE והכימות בתוך Gradio.
איפה זה נופל
המרחב הציבורי לא מבצע שום עיבוד בפועל, ולחיצה על יצירה מסתיימת בהודעת שגיאה. מעבר לכך, הקוד דורש חומרת GPU ועיבוד כבד מאוד, כך שגם אם שכפלתם, אי אפשר להריץ אותו בחינם על מעבד רגיל.
אותה משפחה
echomimic יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם אפשר להפיק כאן וידאו בחינם?
לא. המרחב הציבורי מוגדר לתצוגה בלבד, והקוד עוצר את הריצה ומודיע שאי אפשר לייצר וידאו על המעבד הקיים בלי לשכפל אותו.
מה צריך כדי להפעיל אותו בעצמי?
עליכם לשכפל את המרחב לחשבון שלכם ב־Hugging Face ולשדרג את החומרה לחומרה עם מעבד גרפי שתומך ב־CUDA. על גבי מעבד רגיל הצינור פשוט לא ייטען.
במה המרחב הזה שונה מהמודל המקורי?
המודל עצמו יודע לקחת צליל ותמונה ולהפיק וידאו. המרחב הזה הוא רק עטיפת Gradio שמציגה את השדות וההגדרות, אך בפועל היא חסומה להרצה ישירה.
האם הקבצים שלי נשמרים ברשת?
כל עוד מדובר במרחב ציבורי, קבצים שאתם מעלים עשויים לעבור בשרת פתוח. אם בחרתם לשכפל ולהריץ את הקוד, עדיף להגדיר את המרחב המשוכפל כפרטי.
איך משתמשים
בממשק הנוכחי אי אפשר פשוט ללחוץ על הכפתור ולקבל וידאו. המרחב רץ על חומרת cpu-upgrade בלבד, והקוד חוסם יצירה פומבית וזורק שגיאה שמסבירה שמדובר בתצוגה בלבד. כדי להפיק סרטון בפועל אתם חייבים לשכפל את המרחב לפרופיל שלכם ולהצמיד לו מעבד גרפי ייעודי של אפל או אנבידיה עם CUDA, אחרת הצינור לא יעבוד.
הרישיון
הרישיון לא דווח במאגר. במצב כזה אין הרשאה ברורה לשימוש מסחרי, וכל קובץ תמונה או קול שאתם מעלים עלול להיות חשוף בממשק אם לא הפעלתם את המרחב באופן פרטי.