VALL-E-X — הדגמה

מה זה

אתם מספקים טקסט להקראה ודגימת שמע של הקול המבוקש, בקובץ או בהקלטה ישירה מהמיקרופון, יחד עם תמלול של הדגימה. אפשר גם להעלות קובץ פרומפט מוכן בסיומת npz או לבחור קולות מוגדרים מראש. הפלט המתקבל הוא קובץ שמע של הטקסט המוקרא באותו קול, עם אפשרות לשלוט בשפה ובמבטא.

מאחורי הקלעים פועל מודל VALL-E שנעזר ב־whisper-medium של OpenAI כדי לעבד ולהבין את תמלול השמע, וב־vocos-encodec-24khz שמשמש כווקודר להפקת גלי הקול הסופיים באיכות של 24 קילוהרץ. המערכת כוללת גם חלוקת משפטים לטיפול בטקסטים ארוכים, ומציגה דוגמאות מובנות שמדגימות יצירת שמע מהקלטה, הפקת קובצי פרומפט והרצה על טקסטים ארוכים.

מתאים ל

• שיבוט קול לטקסט קצר

  יצירת קובץ דיבור באנגלית, סינית או יפנית שמחקה קול קיים לפי הקלטה קצרה.

• יצירת פרומפטים שמורים

  המרת הקלטות לקובצי npz לשימוש חוזר כדי לייצר דיבור מהיר בעתיד בלי להעלות שוב אודיו.

• הקראת טקסטים ארוכים

  פיצול פסקאות ארוכות למשפטים והפקת רצף שמע אחיד בקול הנבחר בלשונית הייעודית.

איפה זה נופל

האפליקציה במצב תקלה טכנית ולא עולה כרגע לשימוש ברשת. מעבר לכך, התמיכה בשפות מוגבלת לאנגלית, סינית ויפנית בלבד, כך שעברית לא נתמכת כאן כלל. הכלי גם דורש התאמה טובה בין התמלול לשמע הקלט, ואם איכות ההקלטה נמוכה או שהתמלול שגוי, איכות השיבוט נפגעת בצורה ניכרת.

איך מריצים

נכנסים לאחת מארבע הלשוניות בממשק, מדביקים טקסט, מעלים דגימת שמע או קובץ npz, ולוחצים על כפתור ההפקה. אין צורך בהתחברות כדי לגשת לממשק. ההרצה מוגדרת על מאיץ גרפי l4x1, כך שפעולת היצירה עצמה אמורה להתבצע תוך שניות בודדות לכל משפט, אך במצבו הנוכחי המרחב נמצא בשגיאת בנייה ולא ניתן להריץ אותו ישירות בדפדפן.

pip install -U huggingface_hub
hf download Plachta/VALL-E-X

הקבצים

3 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• vallex-checkpoint.pt1.5 GB
• .gitattributes1.5 KB
• README.md21 B

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה, שינוי ושילוב גם במוצרים מסחריים. הרישיון חל על קוד המקור, אך השימוש בקולות של אנשים אמיתיים או בקובצי שמע מוגנים דורש בדיקת זכויות יוצרים ופרטיות בנפרד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗