s2-pro

מה זה

בבסיס יושבת ארכיטקטורה כפולה של כמעט 4.6 מיליארד פרמטרים. מודל אטי של 4 מיליארד פרמטרים מנהל את הרצף על ציר הזמן ואת המשמעות, ומודל מהיר של 400 מיליון פרמטרים משלים את הפרטים האקוסטיים דרך עשרה ספרי קוד של אודיו. הוא נבנה על מנוע SGLang, מה שאומר שהוא מקבל מראש יכולות של מודלי שפה רגילים כמו זיכרון מטמון יעיל ועיבוד רציף במנות.

השליטה בהקראה נעשית בלי להסתבך עם קבצי הגדרות מורכבים. אתם שותלים תגיות טקסט ישירות בתוך התוכן, משהו כמו הוראה ללחוש או להישמע מופתע, והוא מעבד אותן מתוך מאגר של יותר מ־15,000 תגיות מוכרות יחד עם תיאורים חופשיים. זה מאפשר לייצר שיחות שנשמעות מגוונות ומגיבות לשינויי מצב רוח בלי לחתוך את המשפטים מראש.

מתאים ל

• דיבוב סצנות עם רגש משתנה

  תגיות הטקסט החופשיות מתאימות להנחיית לחישות, צעקות או אנחות בתוך רפליקות משחק בלי עריכת סאונד ידנית.

• בוטים קוליים באנגלית ובסינית

  זמן התגובה הקצר והתמיכה המלאה בשפות דרג ראשון נותנים מענה שוטף לשיחות הזרמה בזמן אמת.

• הקראת סיפורים ופודקאסטים

  הארכיטקטורה יודעת לשמור על רצף שמע יציב לאורך קטעים ארוכים עם מעברים טבעיים בין דמויות ומקצבים.

איפה זה נופל

למרות שהכרטיס מציין תמיכה בעברית ברשימת השפות המשנית, היא לא נמצאת בדרגות הראשונות. המודל מתמקד ומאומן היטב על אנגלית, יפנית וסינית, וברמה מעט נמוכה יותר על שפות כמו ערבית, רוסית או ספרדית. זה אומר שלפני שמתכננים עליו למערכת בעברית, חובה לבדוק איכות דיקציה, מבטא ורמת קריאות, כי הוא עלול להישמע מאולץ ולא מדויק. בנוסף, חומרי התיעוד לא מפרטים ביצועים על חומרות חלשות יותר, כך שלא בטוח איך הוא יגיב תחת עומס שאינו מאיץ שרתים מתקדם.

איך מריצים

המשקל הכולל של הקבצים עומד על 10.3 גיגה בייט ב־13 קבצים. כדי להריץ אותו בהזרמה חיה עם שיהוי של כ־100 מילישניות תצטרכו כרטיס גרפי ברמה גבוהה מאוד, כאשר הבדיקות הרשמיות מציגות פקטור זמן אמת של 0.195 על גבי NVIDIA H200 בודד.

אם אין לכם חומרה ייעודית כזו בענן או במשרד, התקנה מקומית תקרטע. במקרה כזה כדאי לפנות לממשק ה־Playground או להשתמש בחיבור ענן מרוחק במקום להחזיק שרת יקר שיעמוד ללא שימוש רוב הזמן.

pip install -U huggingface_hub
hf download fishaudio/s2-pro

הקבצים

13 קבצים במאגר, 10.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00002.safetensors5.0 GB
• model-00002-of-00002.safetensors4.1 GB
• codec.pth1.9 GB
• tokenizer.json12.2 MB
• overview.png3.5 MB
• tokenizer_config.json860.8 KB
• special_tokens_map.json101.9 KB
• model.safetensors.index.json32.7 KB
• LICENSE.md10.4 KB
• README.md5.1 KB
• chat_template.jinja4.1 KB
• config.json1.9 KB
• .gitattributes1.6 KB

הרישיון

הרישיון מוגדר תחת Fish Audio Research License. הוא חופשי לחלוטין לצורכי מחקר, לימודים ושימוש שאינו מסחרי. מי שמתכנן לשלב אותו במוצר עסקי שמוכר שירות או מייצר הכנסה חייב לפנות ישירות ליוצרים ולרכוש רישיון מסחרי נפרד, אחרת זו הפרה ישירה של תנאי ההפצה.

הרישיון המלא בעמוד המודל ↗