MOSS-TTSD-v1.0 — הדגמה

מה זה

אתם מזינים טקסט של שיחה מרובת משתתפים, קובעים את מספר הדוברים, ומקבלים קובץ שמע מוגמר שמכיל את הדיאלוג ברצף. בנוסף אפשר להעלות דגימות קול קצרות יחד עם תמלול של מה שנאמר בהן, כדי לשבט את הקולות של הדוברים השונים בשיחה.

מאחורי הקלעים רצים שני רכיבים: המודל OpenMOSS-Team/MOSS-TTSD-v1.0 שאחראי על הדיאלוג עצמו, וטוקנייזר הקול OpenMOSS-Team/MOSS-Audio-Tokenizer שמפרק ומייצר את גלי השמע. הממשק כולל טבלת דוגמאות מובנות שממלאות מראש מספר דוברים, קבצי קול ותמלילי שיחה מוכנים כדי לראות איך המערך עובד בלי להקליט מראש.

יש שליטה בפרמטרים של הדגימה כמו טמפרטורה, top-p, top-k, ענישת חזרתיות ומספר טוקנים מרבי, יחד עם תיבות סימון לנרמול טקסט ונרמול קצב דגימה.

מתאים ל

• בדיקת שיבוט קול לשיחה

  מעלים דגימת שמע ותמלול, ובודקים האם המודל מצליח לחקות את גוון הקול בדיאלוג.

• הפקת פודקאסט מטקסט

  מזינים שיחה בין שני משתתפים או יותר ומפיקים קובץ שמע רציף ללא צורך באולפן.

• בחינת פרמטרי דגימת שמע

  משנים ערכי טמפרטורה וחזרתיות כדי לראות את ההשפעה הישירה על טבעיות הדיבור.

איפה זה נופל

ההדגמה מוגבלת לחומרה חלשה יחסית שמבוססת על מעבד, כך שאי אפשר לצפות כאן לביצועים בזמן אמת כמו במודל שרץ על חומרה ייעודית. החומר לא מציין תמיכה בעברית, ולכן לא כדאי להסתמך עליו לטקסטים מקומיים בלי לבדוק תחילה את השפות שהמודל מכיר. בנוסף, איכות שיבוט הקול תלויה לחלוטין בדגימות שתעלו ובתמלול המדויק שלהן.

איך מריצים

בוחרים דוגמה מוכנה מתוך הטבלה או מעלים שמע משלכם, מגדירים את הדוברים והטקסט, ולוחצים על הכפתור הראשי ליצירת הדיאלוג. השרת של ההדגמה מוגדר על מעבד בסיסי בלבד, מה שאומר שהעיבוד עלול לקחת זמן ממושך בהשוואה לכרטיס מסך, במיוחד אם הטקסט ארוך. אין צורך בחשבון או בהתחברות מיוחדת כדי להריץ את העמוד.

pip install -U huggingface_hub
hf download OpenMOSS-Team/MOSS-TTSD-v1.0

הקבצים

21 קבצים במאגר, 15.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00003-of-00004.safetensors5.0 GB
• model-00001-of-00004.safetensors4.9 GB
• model-00002-of-00004.safetensors4.9 GB
• model-00004-of-00004.safetensors1.9 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json38.4 KB
• processing_moss_tts.py35.8 KB
• modeling_moss_tts.py28.6 KB
• README.md20.7 KB
• configuration_moss_tts.py5.6 KB
• tokenizer_config.json5.5 KB
• inference_utils.py5.1 KB
• config.json2.3 KB
• .gitattributes1.6 KB
• added_tokens.json704 B
• special_tokens_map.json631 B
• chat_template.jinja352 B
• processor_config.json145 B
• generation_config.json132 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. עם זאת, אין פירוט לגבי שמירת קבצי השמע והטקסטים שאתם מזינים לשרת של ההדגמה, ולכן לא מומלץ להעלות לשם הקלטות רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗