Meigen-MultiTalk
רץ בדפדפןfffiloniרישיון לא דווח2025-06-23
הכלי מייצר סרטוני וידאו של שיחה או שירה מרובת משתתפים מתוך תמונה וקובצי קול. הוא מיועד למי שרוצה לבדוק הנפשת דיבור של מספר דמויות במקביל.
- —הורדות בחודש
- 277לייקים
מה זה
אתם מזינים תיאור טקסטואלי, מעלים תמונת מקור ומצרפים קובצי אודיו עבור דובר אחד או שני דוברים נפרדים. הפלט המתקבל הוא סרטון וידאו שבו הדמויות בתמונה מונפשות ומדברות או שרות בהתאם לקול שהוזן.
מאחורי הקלעים רץ שילוב של מודלים כבדים, בהם MeiGen-MultiTalk, מודל הווידאו Wan2.1-I2V-14B-480P, מודל TencentGameMate/chinese-wav2vec2-base לעיבוד האודיו, ומודלי שפה ממשפחת Qwen2.5 ו־umt5-xxl. הממשק כולל דוגמאות מוכנות מראש של אישה ששרה באולפן עמום ושל דואט בין גבר ואישה באולפן הקלטות.
מתאים ל
- הנפשת דואט מוקלט
יצירת סרטון של שתי דמויות שרות יחד מתוך תמונה בודדת ושני נתיבי קול שונים באורך של עד חמש שניות.
- דיבוב דמות בודדת
הנפשת פנים ותנועות שפתיים של אדם יחיד בתמונה לפי קובץ שמע קצר של דיבור או שירה.
- בדיקת איכות המודל
צפייה בדוגמאות המרונדרות מראש כדי לבחון את סנכרון השפתיים לפני שכפול הקוד לסביבה פרטית.
איפה זה נופל
החומרה הבסיסית הופכת ריצה חיה לאטית מאוד עד בלתי אפשרית בגרסה המשותפת, והדוגמאות בממשק הן קבצים מוכנים מראש ולא ריצה בזמן אמת. הממשק מגביל את האודיו לחמש שניות בלבד ולשני דוברים לכל היותר, כך שהוא לא מתאים לשיחות ארוכות או לקבוצות גדולות.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
הגישה לממשק בחינם, אך בגרסה המשותפת המשאבים מוגבלים מאוד וכפתור היצירה עשוי להיות מושבת. כדי להריץ באופן עצמאי תצטרכו לשכפל את המרחב לחומרה בתשלום.
כמה זמן לוקח לייצר סרטון?
לפי נתוני הממשק, יצירה של סרטון קצר באורך חמש שניות אורכת כ־20 דקות. אם יש משתמשים נוספים בתור, זמן ההמתנה מתארך בהתאם.
האם אפשר להריץ את זה מקומית?
כן, הקוד פתוח ומשתמש בספריות סטנדרטיות שמורידות את המשקלים ממאגרי המודלים. עם זאת, המודלים דורשים משאבי חומרה ומעבדים גרפיים חזקים כדי לפעול.
מה קורה עם הקבצים שאני מעלה?
הקבצים מועברים ישירות לשרת שמריץ את הדמו לצורך העיבוד ונשמרים בתיקיות זמניות. היות שלא דווח רישיון או מדיניות פרטיות, לא כדאי להעלות חומרים רגישים.
איך משתמשים
לוחצים על כפתור היצירה לאחר הזנת הפרטים, או בוחרים בדוגמה מוכנה שמציגה סרטון מרונדר מראש. בממשק הציבורי המשותף כפתור היצירה עשוי להיות חסום, והסאונד מוגבל לחמש שניות בלבד עם הגבלה ל־12 צעדי דגימה. יצירת וידאו של חמש שניות לוקחת כ־20 דקות, התור מוגבל לארבעה ממתינים, והחומרה המוצהרת היא מעבד בסיסי בלבד, מה שמחייב שכפול של הסביבה לחומרה חזקה כדי לעבוד באופן מעשי.
הרישיון
הרישיון לא דווח במאגר, ולכן אין מידע ברור לגבי תנאי השימוש המסחריים, זכויות היוצרים על התוכן המופק או המדיניות לגבי הקבצים והתמונות שאתם מעלים.