MOSS-TTSD-v1.0

מה זה

בניגוד לרוב מודלי הדיבור שמקריאים משפט בודד, המודל הזה מתמקד בשיחות מרובות משתתפים. הוא מקבל טקסט עם תיוג דוברים ודגימות קול קצרות של שלוש עד עשר שניות, ומייצר דיאלוג שכולל חילופי דברים וקטיעות דיבור טבעיות. הוא מתבסס על ארכיטקטורת שנאי יחידה שחוזה טוקנים של אודיו במקביל באמצעות השהיה.

בבדיקות מול מודלים פתוחים ומסחריים, הוא מציג דיוק שיוך דוברים של מעל 95 אחוזים גם באנגלית וגם בסינית, מה שאומר שהוא כמעט לא מתבלבל בין הקולות בשיחה. עם זאת, מדד שיעור שגיאות המילים שלו באנגלית עומד על 0.0988, נתון פחות טוב מזה של מודלים קנייניים כמו אילבן לאבס או ג'מיני שנעים סביב 0.082 עד 0.087.

מתאים ל

• הפקת פודקאסטים אוטומטית

  יצירת דיאלוג רציף בין מספר מנחים מאודיו קצר, עם שמירה על קולות עקביים לאורך שעה.

• דיבוב סצנות עם כמה שחקנים

  הפקת שיחה מרובת משתתפים עם אינטראקציה וקטיעות הדדיות מקובץ טקסט יחיד.

• הקראת ספרי שמע עם דמויות

  הפרדה מדויקת בין קול המספר לקולות הדמויות בספר ללא צורך בהדבקת מקטעים נפרדים.

איפה זה נופל

המודל מציג שיעור שגיאות מילים גבוה יחסית באנגלית בהשוואה למתחרים סגורים, ולכן עלולות להיות בו טעויות בהגיית מילים. בנוסף, אף שעברית מופיעה ברשימת השפות הנתמכות, הטבלאות מציגות נתונים ומדידות בסינית ובאנגלית בלבד. אין שום מידע על רמת הדיוק, איכות ההגייה או שמירת המבטא בעברית, ולכן חובה לבדוק את השפה בפועל לפני שמסתמכים עליו.

אותה משפחה

MOSS-TTSD יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית צריך לפחות 24 גיגה בייט זיכרון כרטיס מסך עבור משקלי המודל וההקשר הארוך. הסביבה דורשת פייתון 3.12, חבילות פייטורץ' ייעודיות לגרסת קודה 12.8, וספריית טרנספורמרס בגרסה 5.0.0. התקנת פלאש אטנשן 2 מומלצת כדי לקצר זמנים ולחסוך בזיכרון, אך מחייבת חומרה תומכת ותהליך הידור שלעיתים נתקע.

אם אתם לא צריכים שיחה ארוכה ומתמשכת אלא רק קריינות קצרה, עדיף להשתמש במודל קטן יותר או לקרוא לשירות ענן. מעבר לכך, למפתחים יש ממשק בדיקה ב־AIStudio ודוקומנטציה של ממשק תכנות ייעודי למי שמעדיף לא לנהל שרתים עצמאיים.

from transformers import pipeline

pipe = pipeline("text-to-speech", model="OpenMOSS-Team/MOSS-TTSD-v1.0")
print(pipe("שלום"))

הקבצים

21 קבצים במאגר, 15.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.9 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json38.4 KB
• processing_moss_tts.py35.8 KB
• modeling_moss_tts.py28.6 KB
• README.md20.7 KB
• configuration_moss_tts.py5.6 KB
• tokenizer_config.json5.5 KB
• inference_utils.py5.1 KB
• config.json2.3 KB
• .gitattributes1.6 KB
• added_tokens.json704 B
• special_tokens_map.json631 B
• chat_template.jinja352 B
• processor_config.json145 B
• generation_config.json132 B

הרישיון

המודל משוחרר תחת רישיון אפאצ'י 2.0 המלא. אתם רשאים להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו בתוך מוצרים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗