MOSS-TTS-v1.5

מה זה

הגרסה הזו ממשיכה את מודל הבסיס ומתמקדת בדיוק הפרוזודיה וביציבות של שכפול קול מדגימות קצרות. מעבר להקראת טקסט רגילה, אפשר לשלוט על משך ההגייה ברמת הטוקן, להשתמש באלפבית פונטי בינלאומי להגייה מדויקת, ולהגדיר שתיקות מתוזמנות בתוך הטקסט כמו השהיה של כמה שניות בדיוק בנקודה מסוימת.

בגודל של שמונה וחצי מיליארד פרמטרים, מדובר במודל דיבור כבד ביחס למקובל בתחום, אך הוא מפצה על כך ביכולת מעבר חלקה בין שפות שונות באותו משפט. הוספת תגיות שפה מפורשות בזמן הפנייה משפרת את הדיוק בחלק גדול מ־31 השפות הנתמכות, שכוללות כעת גם עברית וערבית.

מתאים ל

• הקראת ספרים ופודקאסטים

  שליטה מדויקת בהפסקות נשימה והשהיות מתוזמנות מאפשרת הפקת שמע ארוך שנשמע טבעי ולא רציף מדי.

• דיבוב ושכפול קול

  המודל שומר על יציבות דגימת הקול המקורית גם כשמזינים קטע ייחוס ארוך כדי להקריא משפט קצר.

• הדרכות רב-לשוניות

  תמיכה במעבר בין שפות באותו טקסט מאפשרת הקראת מונחים טכניים באנגלית בתוך משפטים בעברית.

איפה זה נופל

אם תשמיטו את תגית השפה בזמן הקריאה, איכות הפלט עלולה לרדת בחלק מהשפות ואפילו להציג נסיגה לעומת הגרסה הקודמת. המפתחים מודים שהדיוק תלוי בהגדרה ידנית של השפה, כך שזיהוי אוטומטי מלא אינו אמין כאן.

בנוסף, המשקל הכבד של שמונה וחצי מיליארד פרמטרים מייצר השהיה ראשונית מורגשת לפני תחילת השמע. זה לא כלי שמתאים כרגע לעיבוד קולי עם תגובה מיידית ללא אופטימיזציה כבדה או שרתי עיבוד מרובי כרטיסים.

אותה משפחה

MOSS-TTS יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

כדי להריץ אותו מקומית תצטרכו סביבת פייתון מבודדת עם כרטיס מסך חזק שמחזיק מעל 16 גיגה זיכרון וידאו רק כדי לטעון את המשקלים, ועדיף כרטיס מודרני שתומך ב־FlashAttention כדי לקבל מהירות סבירה ולא לחנוק את החומרה. הקוד דורש גרסאות ספציפיות של פייטארץ׳ וספריות תואמות קודה.

אם אתם צריכים תגובה מהירה בזמן אמת לשיחה קולית, או שאין לכם חומרה ייעודית בענן, הרצה עצמאית תהיה יקרה וכבדה, ועדיף לבדוק פנייה ל־API המרוחק שהמפתחים מציעים בענן שלהם.

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-TTS-v1.5

הקבצים

22 קבצים במאגר, 15.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors2.1 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json40.4 KB
• processing_moss_tts.py35.5 KB
• modeling_moss_tts.py25.3 KB
• tts_robust_normalizer_single_script.py14.5 KB
• README.md13.7 KB
• configuration_moss_tts.py5.6 KB
• tokenizer_config.json5.5 KB
• inference_utils.py5.1 KB
• config.json2.3 KB
• .gitattributes1.6 KB
• added_tokens.json704 B
• special_tokens_map.json631 B
• chat_template.jinja352 B
• processor_config.json145 B
• __init__.py0 B

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש במודל במוצרים מסחריים, לשנות אותו, להריץ אותו באופן פנימי ולהפיץ עבודות נגזרות. התנאי העיקרי הוא שמירת הודעות זכויות היוצרים והצהרה על שינויים שבוצעו בקוד או במשקלים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗