fastspeech2-en-ljspeech
קוד פתוחfacebookרישיון לא דווח2022-03-02
מודל המרה של טקסט לדיבור באנגלית שמייצר קול נשי יחיד. הוא מתאים למי שצריך סינתזה קלה ומהירה מקומית בלי תלות ברשת.
- 525 MBמשקל הקבצים
- 124הורדות בחודש
- 272לייקים
מה זה
מדובר במימוש של FastSpeech 2 מתוך ספריית fairseq S^2 של פייסבוק, שפורסם במרץ 2022. הוא אומן על מאגר LJSpeech המוכר, ולכן הוא מייצר קול נשי בודד באנגלית בלבד. הארכיטקטורה הזו ידועה בכך שהיא מייצרת אודיו בצורה לא אוטורגרסיבית, מה שנותן מהירות הפקה גבוהה ויציבות בלי דילוגים על מילים.
המודל דורש ווקודר חיצוני כדי להפוך את המל ספקטרוגרם לגל קול, ובדוגמת הקוד פייסבוק משלבים אותו עם HiFi-GAN. הוא שוקל 525 מגה בייט בסך הכל ומחולק לתשעה קבצים, כך שמבחינת משאבים מדובר בכלי רזה שאינו דורש תשתיות כבדות.
מתאים ל
- הקראת טקסטים באנגלית אופליין
הוא קל משקל ויכול לרוץ ישירות על מעבד מקומי בלי חיבור לרשת.
- פיתוח אבטיפוס לממשק קולי
מאפשר לבדוק פיצ'רים של דיבור באנגלית במהירות ובעלות אפסית.
- מחקר על ארכיטקטורת fairseq
מתאים למי שחוקר סינתזת דיבור ורוצה נקודת בסיס מוכרת מתוך LJSpeech.
איפה זה נופל
הוא מוגבל לקול נשי יחיד ולשפה האנגלית בלבד, כך שאין שום אפשרות לשלוט בגוון הדיבור, בגיל או במגדר בלי לאמן אותו מחדש. אם אתם מכוונים לקהל ישראלי ורוצים עברית, הוא פשוט לא יעבוד. בנוסף, התלות בגרסאות ספציפיות של fairseq עלולה להקשות על ההתקנה בסביבות פיתוח מודרניות.
שאלות
נפוצות
האם המודל יודע להקריא טקסט בעברית?
לא. הוא אומן על LJSpeech ומבין אך ורק אנגלית. הזנת עברית תיכשל או תייצר פלט חסר משמעות לחלוטין.
האם צריך כרטיס מסך חזק כדי להפעיל אותו?
ממש לא. המודל שוקל 525 מגה בייט ואינו דורש חומרה מיוחדת, כך שמעבד סביר יספיק לסינתזה בזמן אמת.
איך מריצים
כדי להריץ אותו מייבאים את fairseq וטוענים את המשקולות ישירות מתוך Hugging Face Hub בעזרת TTSHubInterface. הוא לא משתמש בממשק הרגיל של transformers, אלא דורש את הכלים הייעודיים של fairseq לספיץ', כולל הגדרה של ווקודר כמו hifigan בהגדרות הטעינה.
בגודל של קצת יותר מחצי ג'יגה בייט, אפשר להריץ אותו בקלות על מעבד רגיל בלי לקנות שרת עם GPU יקר. אם אתם צריכים רק להקריא כמה משפטים באנגלית מדי פעם, עדיף להריץ אותו מקומית על המכונה שלכם מאשר לשלם על API חיצוני.
pip install -U huggingface_hub hf download facebook/fastspeech2-en-ljspeech
הקבצים
9 קבצים במאגר, 525 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
בעמוד המודל לא דווח רישיון כלל. המשמעות היא שאין היתר שימוש מפורש, וכל שימוש מסחרי או הפצה בתוך מוצר חושפים אתכם לסיכון משפטי עד שפייסבוק יבהירו את תנאי ההפצה.