multimodalart/scenema-audio
רץ בדפדפןmultimodalartרישיון לא דווח2026-05-14
הכלי מייצר דיבור ומבצע שכפול קול עם שליטה ברגש ובנשימות ישירות מתיאור טקסטואלי או מקובץ שמע. הוא מיועד ליוצרי תוכן ומפתחים שרוצים סאונד קולנועי מורכב בלי להקליט שחקנים באולפן.
- —הורדות בחודש
- 38לייקים
מה זה
הממשק מציע שלוש לשוניות עבודה עיקריות: יצירת דיבור מלאה, עיצוב פרופיל קול, ושכפול קול קיים. אתם מזינים טקסט להקראה, תיאור מילולי של אופי הקול, ותיאור של הסצנה או הרקע. בלשונית השכפול מעלים קובץ שמע שמשמש כדגימת מקור. המערכת מחזירה קובץ אודיו סופי להאזנה והורדה, לצד נתוני מטא וקוד XML שמייצג את ההנחיה המלאה שנבנתה עבור המודל.
הבסיס הטכנולוגי נשען על מודל דיפוזיה לאודיו שנגזר מתוך LTX 2.3, יחד עם שרשרת כלים עמוסה שכוללת את gemma-3-12b-it לניתוח טקסטואלי, Seed-VC לשכפול, BigVGAN לסינתזה, Whisper לעיבוד שמע ו־MelBandRoFormer. יש בממשק דוגמאות מובנות להרצה מהירה שמראות כיצד הגדרת תיאור הקול והסצנה משפיעה ישירות על האינטונציה וקצב ההקראה.
מתאים ל
- הפקת דיאלוגים לפרויקטים
יצירת שורות מחץ מותאמות אישית עם רגש ונשימות לפי תיאור סצנה מדויק.
- שכפול קול מדגימה קצרה
העלאת קובץ קול קצר כדי להקריא טקסט חדש לחלוטין באותו גוון דיבור.
- בדיקת דמויות וקולות
ניסוי מהיר של תיאורי דמות שונים בלשונית עיצוב הקול לפני הפקה סופית.
איפה זה נופל
ההסתמכות על שרשרת כל כך ארוכה של מודלים כבדים הופכת את ההרצה לאיטית ומועדת לתקלות תחת עומס. בנוסף, חובה להזין גם תיאור קול וגם טקסט דיבור, אי אפשר פשוט לזרוק משפט ולקבל פלט אקראי. המודל של גוגל דורש הרשאות מיוחדות בהגדרות, כך שאם הסביבה לא הוגדרה מראש עם טוקן מתאים, התהליך ייכשל עוד לפני שיתחיל.
שאלות
נפוצות
האם השימוש באפליקציה בחינם?
הגישה דרך הדפדפן היא בחינם במסגרת המשאבים של זירו ג'יפיאו, אך כיוון שהיא במצב שינה, ייתכן שתצטרכו להמתין להקצאת חומרה. כמו כן, מודל השפה המוטמע דורש טוקן מתאים עם הרשאה פעילה.
כמה זמן לוקח לייצר קטע קול?
בהרצה ראשונה תיתקלו בהמתנה ארוכה מאוד בגלל הורדת משקלים בנפח של קרוב לארבעים ג'יגה בייט. בריצות הבאות, כרטיס ה־A10G מעבד את הפלט תוך כמה עשרות שניות, תלוי באורך הטקסט ובקצב הדיבור שנבחרו.
האם אפשר להריץ את הכלי מקומית במחשב שלי?
כן, הקוד פתוח תחת רישיון אם-איי-טי וזמין בגיטהאב של הפרויקט. תצטרכו חומרת אנבידיה חזקה מאוד עם זיכרון וידאו משמעותי כדי לטעון את כל המודלים, כולל ג'מה בגודל 12 מיליארד פרמטרים.
במה האפליקציה שונה מהרצת המודל ישירות בקוד?
היא אורזת פייפליין מורכב של שישה מודלים נפרדים לממשק גרפי אחד קל לתפעול. במקום להגדיר ידנית את מבנה ה־XML והחלוקה בין המודלים, הממשק בונה את הפקודות אוטומטית מתוך שדות הטקסט שתמלאו.
איך משתמשים
בוחרים לשונית, ממלאים את שדות הטקסט של התיאור והתסריט, מכוונים פרמטרים כמו קצב דיבור או סיד, ולוחצים על כפתור ההפקה. היישום רץ על מעבד גרפי מסוג A10G של זירו ג'יפיאו, אבל כרגע הוא במצב שינה. התנעה ראשונה דורשת הורדה של בערך שלושים ושמונה ג'יגה בייט של משקלי מודלים, ולכן היא עשויה לקחת דקות ארוכות מאוד לפני שתראו תוצאה ראשונה.
הרישיון
הקוד עצמו מופץ תחת רישיון MIT החופשי, אבל משקלי המודל העיקרי כפופים להסכם הרישיון הקהילתי של LTX-2 שמציב תנאים מסחריים משלו. בדף האפליקציה המקורי הרישיון הכללי מסומן כלא דווח, ולכן יש לבדוק היטב את תנאי המודלים הנפרדים לפני שמשתמשים בקבצים המופקים לפרויקטים מסחריים.