abidlabs/E2-F5-TTS
רץ בדפדפןabidlabsרישיון לא דווח2024-10-18
הדגמה לא רשמית שמשבטת קול מקטע שמע קצר ומקריאה טקסט חדש. מתאימה למי שרוצה לבדוק יכולות של מודלי F5 ו־E2 ישירות בדפדפן בלי להתקין סביבת פיתוח.
- —הורדות בחודש
- 51לייקים
מה זה
אתם מעלים קובץ קול שמשמש כדוגמה, מקלידים את הטקסט שאתם רוצים להפיק, ובוחרים בין F5-TTS לבין E2-TTS. אם לא מזינים את התמליל המדויק של קובץ המקור, הממשק מתמלל אותו בעצמו בעזרת מודל Whisper. התוצאה שמתקבלת היא קובץ שמע מוגמר יחד עם תמונת ספקטרוגרמה.
מאחורי הקלעים הקוד משתמש במודלי השמע F5-TTS ו־E2-TTS יחד עם הווקודר vocos-mel-24khz לצורך הרכבת גל הקול, לצד גרסאות שונות של מודל התמלול Whisper. הממשק מחולק למספר מצבי עבודה, כולל המרת טקסט רגילה במקבצים, הפקת פודקאסט עם שני דוברים שונים, ומצב רגשי שמאפשר להעלות קטעי קול שונים לפי סגנון דיבור.
מתאים ל
- בדיקת שיבוט קול
השוואה מהירה בין איכות הפלט של מודל F5-TTS לבין E2-TTS על בסיס אותה דגימת שמע.
- יצירת דיאלוג לשני קולות
הפקת שיחה מתוסרטת בסגנון פודקאסט שמשלבת שני קבצי שמע נפרדים להגדרת הדוברים.
- הקראה בגווני דיבור שונים
הזנת דגימות קול נפרדות למצבי רגש שונים כדי לשלוט בסגנון ההקראה לאורך הטקסט.
איפה זה נופל
אם קובץ הקול שהעליתם ארוך מ־15 שניות, הקוד פשוט חותך אותו אוטומטית ומשתמש רק בחלק הראשון. מעבר לזה, המודל אומן בין היתר על מאגר Emilia שכולל בעיקר שפות כמו אנגלית וסינית, כך שאין כאן התאמה מוכחת לעברית. ריצה על מעבד פשוט ללא כרטיס גרפי תגרום לזמני המתנה ארוכים שלא משקפים את המהירות האמיתית של המודלים בסביבה ייעודית.
שאלות
נפוצות
האם השירות הזה עולה כסף?
לא, הגישה להדגמה הזאת חופשית ופתוחה בדפדפן. לא צריך לשלם ולא נדרשת הזנת כרטיס אשראי כדי להפיק שמע.
כמה זמן לוקח לייצר קטע קול?
האפליקציה מוגדרת על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי. תהליך הפקת הקול אורך זמן ממושך, ובמיוחד אם המערכת צריכה קודם לתמלל את דגימת הקול שהעליתם.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד הציבורי מבוסס על ספריות מוכרות כמו PyTorch ו־Gradio. אפשר להוריד אותו ולהריץ בסביבה מקומית, רצוי עם מעבד גרפי כדי לקבל ביצועים סבירים.
מה קורה לקבצי השמע שאני מעלה?
הקבצים נשלחים לעיבוד ונשמרים זמנית בשרת לצורך חיתוך, תמלול וחישוב המודלים. לא דווחו תנאי פרטיות מסודרים, לכן לא מומלץ להעלות הקלטות עם מידע רגיש.
איך משתמשים
בוחרים לשונית עבודה, מעלים את קובץ הדוגמה, כותבים את הטקסט ולוחצים על Synthesize או על כפתור ההפקה המתאים. בהגדרות המתקדמות אפשר לקבוע מהירות דיבור, להסיר שתיקות ולכוון את משך המעבר בין מקטעים. האפליקציה רצה על מעבד בסיסי בלבד, מה שאומר שהעיבוד יהיה איטי מאוד, במיוחד כשהטקסט ארוך או כשהשרת צריך לתמלל את הקול בעצמו לפני תחילת ההפקה.
הרישיון
הרישיון של המרחב הזה לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד ההדגמה או בתוצרים, וכדאי לבדוק את תנאי הרישיון המקוריים של המודלים עצמם לפני כל שימוש מעבר לבדיקה פרטית.