MOSS-TTS

מה זה

הפיתוח הזה מגיע מחברת MOSI וצוות OpenMOSS, כחלק ממשפחת מודלים שלמה ליצירת קול. הארכיטקטורה כאן נשענת על מודל שפה אוטורגרסיבי עם חיזוי אסימוני אודיו מקבילי ודחוי, שמטרתו לשמור על דיוק ויציבות לאורך זמן.

בניגוד למודלי דיבור קטנים שמגמגמים או משנים אישיות אחרי שתי דקות, המודל הזה תוכנן להחזיק הקראה רציפה ויציבה של עד שעה בריצה בודדת. הוא כולל תמיכה בעשרים שפות ומאפשר מעבר חופשי ביניהן בתוך אותו משפט, לצד שליטה בקצב ברמת האסימון והזנת פונמות IPA ישירות למניעת טעויות הגייה.

מתאים ל

• הקראת ספרים ופודקאסטים

  יכולת יצירה רציפה של עד שעה מבטיחה שהקול לא יישבר או יאבד את אופיו באמצע פרק ארוך.

• שכפול קול מהיר

  דוגמת שמע קצרה של הדובר יחד עם הטקסט שלה מספיקות כדי להמשיך לדבר באותו קול בלי אימון מחדש.

• דיקציה מדויקת בשמות זרים

  תמיכה מובנית בקלט פונמות מאפשרת לכפות הגייה מדויקת של מונחים טכניים ושמות ללא שגיאות קריאה.

איפה זה נופל

למרות שמטה הדאטה מסמן עברית בין השפות, רשימת השפות המפורטת בתיעוד הרשמי מציגה עשרים שפות אחרות ולא מזכירה עברית כלל. חובה לבדוק איכות פלט אמיתית לפני שמפתחים סביבו מוצר לשוק המקומי. נוסף לכך, הגודל העצום של המודל הופך אותו לבלתי מתאים ליישומי קצה בזמן אמת, והוא תלוי ברצף תלויות תוכנה נוקשה כמו השבתת תכונות מסוימות בקרנלים של כרטיסי המסך כדי למנוע קריסות.

אותה משפחה

MOSS-TTS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית נדרשת סביבת פייתון מבודדת עם גרסאות מוגדרות של PyTorch וספריית Transformers, לצד תמיכה בחישובי bfloat16 ומאיצי FlashAttention 2 להורדת עומס הזיכרון. 21 קבצי המשקולות שוקלים יחד 15.8 גיגה בייט, כך שמדובר בנפח כבד שדורש מעבד גרפי ייעודי עם מספיק זיכרון וידאו פנוי.

אם הפרויקט שלכם מחפש מחקר קל או בדיקות ראשוניות, הצוות שחרר גם גרסה מקבילה בגודל 1.7 מיליארד פרמטרים. למערכות שצריכות רק קריאות פשוטות בלי לנהל תשתית שרתים משלהן, עדיף להשתמש בנקודת הקצה וסביבת הסטודיו של החברה.

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-TTS

הקבצים

21 קבצים במאגר, 15.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors2.1 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json40.4 KB
• README.md34.6 KB
• processing_moss_tts.py34.5 KB
• modeling_moss_tts.py25.3 KB
• configuration_moss_tts.py5.6 KB
• tokenizer_config.json5.5 KB
• inference_utils.py5.1 KB
• config.json2.3 KB
• .gitattributes1.6 KB
• added_tokens.json704 B
• special_tokens_map.json631 B
• chat_template.jinja352 B
• processor_config.json145 B
• __init__.py0 B

הרישיון

הקוד והמשקולות משוחררים תחת רישיון Apache 2.0. מותר להשתמש בהם בחינם למוצרים מסחריים ופרטיים, לשנות את הקוד ולהפיץ אותו, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗