fish-speech-1.5

מה זה

מדובר במודל text-to-speech שאומן על יותר ממיליון שעות אודיו. היתרון הגדול שלו מגיע מפיזור הדאטה. מעל שלוש מאות אלף שעות באנגלית ועוד שלוש מאות אלף בסינית, לצד עשרות אלפי שעות ביפנית, גרמנית, ערבית, צרפתית ועוד כמה שפות אירופיות ואסייתיות.

במשקל כולל של 1.4 גיגה-בייט ועם חלון הקשר של 8,192 טוקנים, הוא נותן מענה להקראת קטעים ארוכים יחסית בלי לחתוך משפטים כל רגע. הוא בנוי לעבודה רב-לשונית בלי לדרוש מודל נפרד לכל שפה, כל עוד השפה שלכם נמצאת ברשימת הנתמכות שלו.

מתאים ל

• קריינות אנגלית לפודקאסטים

  יש לו מעל 300 אלף שעות אימון באנגלית וחלון הקשר של 8,192 טוקנים שמתאים לטקסטים שלמים.

• פרויקטים אישיים בערבית

  המודל כולל כעשרים אלף שעות בערבית, נתון נדיר במודלים קלים שרצים על מחשב אישי.

• אבטיפוס לתרגום קולי

  תמיכה מובנית בשפות מרובות באותו מודל מאפשרת לבנות מערכות ניסיוניות בלי לנהל משקלים שונים.

איפה זה נופל

עברית פשוט לא קיימת כאן. אם חיפשתם קריינות מקומית בעברית, תצטרכו להמשיך לחפש כי המודל לא כולל אותה בדאטהסט. בנוסף, רמת הדיוק משתנה דרמטית בין השפות. יש הבדל עצום בין אנגלית עם 300 אלף שעות לבין פולנית או פורטוגזית שאומנו על פחות מעשרת אלפים שעות. כרטיס המודל גם לא מפרט נתוני שיהוי או מהירות יצירה בפועל.

איך מריצים

המשקל הכולל יושב על שבעה קבצים שתופסים 1.4 גיגה-בייט, כך שאפשר להריץ אותו מקומית בלי כרטיסי מסך מפלצתיים של דאטה סנטרים. כרטיס ביתי פשוט עם מעט זיכרון ייעודי יספיק פה לגמרי לעבודה שוטפת.

הקוד נמצא בריפו של הפרויקט בגיטהאב ויש להם גם דמו באתר הרשמי. שווה לבדוק את הדמו ברשת כדי לראות את איכות הפלט לפני שמבזבזים זמן על התקנת הסביבה והתלויות אצלכם.

pip install -U huggingface_hub
hf download fishaudio/fish-speech-1.5

הקבצים

7 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pth1.3 GB
• firefly-gan-vq-fsq-8x1024-21hz-generator.pth188.5 MB
• tokenizer.tiktoken1.7 MB
• special_tokens.json31.0 KB
• README.md1.7 KB
• .gitattributes1.5 KB
• config.json697 B

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. זה אומר שאסור להשתמש במודל הזה בשום מוצר מסחרי או שירות בתשלום. בנוסף, אם שיניתם או בניתם עליו משהו, אתם מחויבים לשתף אותו תחת אותו רישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗