Magic-Me
רץ בדפדפןvisionMazeרישיון לא דווח2024-02-22
הכלי מפיק סרטוני וידאו של דמויות לפי טקסט ושומר על זהות הפנים שלהן. הוא מיועד למי שרוצה לבחון יצירת וידאו מותאם אישית בשיטת Magic-Me.
- —הורדות בחודש
- 36לייקים
מה זה
הממשק מבוסס על צמתי ComfyUI ומריץ מתחת שילוב של ControlNet, מודל השפה והתמונה CLIP ומתאמי T2I-Adapter. אתם לא מעלים תמונת פנים חופשית ישירות מהמחשב, אלא בוחרים מזהה פנים מוכן מתוך רשימה, מזינים תיאור טקסטואלי של הסצנה וטקסט שלילי לסינון עיוותים. בהגדרות המתקדמות אפשר לבחור מודל DreamBooth ומודל תנועה בפורמט LoRA, וכן לקבוע את רמת הרעש בפרמטר Gaussian Noise.
התוצר שמתקבל הוא סרטון וידאו. לפי הקוד בממשק יש שלוש רמות הפקה שונות: סרטון בסיסי, סרטון שעבר שיפור של תווי הפנים, וסרטון ברזולוציה משודרגת שמשתמש בחלוקה לאריחים. הממשק כולל דוגמה מוכנה מראש עם תיאור של דמות בחליפת סופרמן בחלל עם כוכבים ברקע, לצד הגדרות קבועות מראש לסינון איברים מעוותים ואיכות ירודה.
מתאים ל
- בדיקת שימור פנים בווידאו
בחינת יכולת המודל לשמור על מבנה הפנים לאורך תנועה לפי מזהים מוכנים מראש.
- הפקת קליפ בסיסי מטקסט
יצירת סרטון קצר באמצעות תיאור טקסטואלי, טקסט שלילי והגדרת מספר סיד.
- שדרוג פרטי פנים ורזולוציה
השוואה בין תוצר הווידאו הגולמי לבין תוצר שעבר חידוד פנים ושיפור באריחים.
איפה זה נופל
המגבלה הכי משמעותית כרגע היא שהאפליקציה מושהית ולא מייצרת סרטונים במקום. מעבר לזה, רשימת הפנים והמודלים מוגבלת לבחירה מתוך אפשרויות קיימות שהוגדרו מראש בקוד, כך שאי אפשר להטמיע כל אדם שרוצים ישירות בממשק הזה. אם בוחרים במסלול העיבוד המלא, זמני ההפקה מתארכים משמעותית פי שמונה ביחס להרצה הרגילה.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא באופן מיידי. השרת שלה נמצא במצב PAUSED, ולכן כדי להשתמש בה יש צורך להעתיק את הקוד או להריץ אותו דרך קישור ה־Colab שבתיעוד.
האם אני יכול להעלות תמונה של עצמי?
לא בממשק הזה. המערכת דורשת לבחור מזהה קיים מתוך רשימת ID Embedding סגורה שהוכנה מראש בקוד.
האם אפשר להריץ את זה מקומית?
כן. הקוד מבוסס על ComfyUI וזמין במאגר הפרויקט ובמחברת Colab, כך שניתן להתקין ולהריץ אותו באופן עצמאי עם חומרה מתאימה.
כמה זמן לוקח לייצר סרטון?
הזמן משתנה בהתאם למסלול שנבחר. הממשק מציין במפורש שמסלול שיפור הפנים איטי פי שניים, והמסלול שכולל שיפור רזולוציה איטי פי שמונה מהרצה בסיסית.
איך משתמשים
לוחצים על אחד משלושת כפתורי ההפעלה בהתאם לאיכות המבוקשת. כפתור שיפור הפנים איטי פי שניים מהרגיל, וכפתור השדרוג המלא איטי פי שמונה. הדף מוגדר לעבוד על חומרת a10g-small, אבל כרגע האפליקציה במצב PAUSED ולכן אי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש או לפנות למחברת ה־Colab והקוד שפורסמו במקור.
הרישיון
בעמוד האפליקציה לא דווח רישיון רשמי, אם כי בתיעוד יש הפניה לרישיון Apache 2.0 במאגר הפרויקט. כשהרישיון לא מוגדר רשמית בעמוד, מעמד השימוש המסחרי בסרטונים שנוצרים ובקוד לא ברור.