fish-speech-1.4

מה זה

מדובר במודל שמייצר דיבור מטקסט על בסיס ארכיטקטורה של מודלי שפה, כשהוא נשען על אימון רחב היקף של שבע מאות אלף שעות שמע. מרבית המאגר מורכב מאנגלית וסינית, שלוש מאות אלף שעות לכל אחת, לצד נתח קטן יותר של עשרים אלף שעות בשפות כמו ערבית, צרפתית, ספרדית, גרמנית, יפנית וקוריאנית.

במשקל כולל של כנקודה אחת ג'יגה בייט, הוא מצליח להחזיק יכולות מולטילינגוואליות בלי לתפוס נפח עצום באחסון. חלון ההקשר עומד על ארבעת אלפים תשעים ושש טוקנים, מה שמתאים לעיבוד קטעי טקסט רציפים יחסית בהרצה אחת.

מתאים ל

• סינתזה לאנגלית או סינית

  רוב הדאטה הושקע בשתי השפות האלה, ולכן שם תקבלו את התוצאות הסבירות ביותר.

• פרויקטים ומחקר אישי

  הרישיון הלא מסחרי מגביל את השימוש, אבל למחקר אקדמי או פרויקט צד הוא מתאים בדיוק.

• תמיכה בממשק רב לשוני

  כיסוי של שמונה שפות שונות תחת מודל בודד ששוקל קצת יותר מג'יגה בייט אחד.

איפה זה נופל

הנתון הבולט ביותר הוא היעדר מוחלט של עברית ברשימת השפות הנתמכות, כך שלטקסט מקומי הוא פשוט לא רלוונטי. מעבר לזה, יש פער עצום בין הדאטה באנגלית ובסינית לבין שאר השפות, שמקבלות רק עשרים אלף שעות שמע כל אחת, וזה בהכרח ישפיע על הטבעיות והאיכות של התוצאה בערבית או בצרפתית.

איך מריצים

המשקל הכולל יושב על נקודה אחת ג'יגה בייט בשמונה קבצים, כך שמבחינת זיכרון מדובר במודל קל מאוד שלא דורש מפלצת חומרה כדי להיטען לזיכרון הווידאו. כרטיס מסך מודרני פשוט עם כמה ג'יגה בייט בודדים של וידאו ראם יספיק כדי להרים אותו מקומית.

קוד המקור יושב בגיטהאב, ויש גם הדגמה חיה ברשת אם אתם רק רוצים לשמוע איך זה נשמע לפני שמורידים סביבת עבודה שלמה. אם אתם בונים שירות שצריך זמינות גבוהה בלי להתעסק בתחזוקת שרתים משלכם, פנייה לשירות מנוהל תחסוך את כאב הראש של ניהול התשתיות.

pip install -U huggingface_hub
hf download fishaudio/fish-speech-1.4

הקבצים

8 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.pth989.0 MB
• firefly-gan-vq-fsq-8x1024-21hz-generator.pth188.5 MB
• tokenizer.json1.6 MB
• tokenizer_config.json1.9 KB
• README.md1.5 KB
• .gitattributes1.5 KB
• config.json493 B
• special_tokens_map.json449 B

הרישיון

המשקלים משוחררים תחת רישיון סי סי בי וואי אן סי אס איי ארבע נקודה אפס. זה אומר שאסור לעשות בו שום שימוש מסחרי, וחייבים לתת קרדיט ולשתף תחת אותו רישיון אם משנים משהו. אם אתם רוצים לשלב אותו במוצר שמייצר הכנסה, תצטרכו להסתכל על פתרון אחר או לפנות למפתחים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗