MOSS-Transcribe-Diarize

מה זה

במקום להריץ Whisper ואז להדביק מעליו מנוע הפרדת דוברים כמו PyAnnote, המודל הזה תוכנן מראש לעשות את שתי הפעולות יחד. הוא מקבל קובץ קול או וידאו באורך של עד 90 דקות ופולט ישירות טקסט רציף עם חותמות זמן ושיוך לדוברים אנונימיים כמו S01 או S02. הוא כולל תמיכה באירועים קוליים ומאפשר להזריק מילות מפתח מראש כדי לשפר דיוק בשמות ומונחים מקצועיים.

במבחני ההשוואה שמפורסמים בדף שלו הוא מציג שגיאות נמוכות מול מודלים ענקיים כמו ג'מיני וכלים ייעודיים ברשת. מדד השגיאה המשוקלל שלו נשאר יציב גם בשיחות מרובות משתתפים ופודקאסטים, מה שאומר שהוא כמעט לא מתבלבל בסדר הדוברים או מחליף ביניהם כשהם מדברים יחד.

מתאים ל

• תמלול פגישות עבודה

  מזהה חילופי דוברים עד 90 דקות במעבר אחד בלי לתאם בין כמה מודלים נפרדים.

• יצירת כתוביות לשידורים

  כולל ממשק מובנה שמייצא קובצי כתוביות ישר עם תזמונים והפרדה לדוברים.

• ניתוח ראיונות ופודקאסטים

  מאפשר להגדיר מילות מפתח ייחודיות כדי לשמור על שמות מדויקים בשיחות עמוסות.

איפה זה נופל

הכרטיס מציג תמיכה רחבה בעשרות שפות, אבל המטא נתונים הרשמיים מגדירים בעיקר אנגלית וסינית, ואין פירוט על איכות התוצאה בעברית. ברירת המחדל של ההנחיות וממשק המשתמש נשענים בכבדות על סינית, כך שצריך לכוונן את הפרומפט כדי לא לקבל פלט מעורב. בנוסף, חובה להפעיל הרצת קוד מרוחק בטעינה, מה שדורש בדיקת אבטחה של הקבצים לפני הרצה בסביבת ייצור, ובקבצים ארוכים עם כמה דוברים מוכרחים להגדיר ידנית תקרת טוקנים גבוהה כדי שהתמלול לא ייחתך באמצע.

איך מריצים

המשקל הכולל יושב על 1.7 גיגה בייט בלבד עם פחות ממיליארד פרמטרים, מה שאומר שכרטיס מסך בסיסי עם 8 או 12 גיגה זיכרון יריץ אותו בלי בעיה. אפשר להעלות אותו ישירות בסביבת פייתון מקומית, אבל לשימוש רציני עדיף להרים אותו מעל vLLM או SGLang Omni, שמספקים ממשק תואם OpenAI עם נקודת קצה של תמלול.

אין פה גרסאות מקומיות מרובות לבחור ביניהן, אבל המפתחים מציעים גם גרסת פרו בענן שלהם שהציגה תוצאות מדויקות יותר. אם יש לכם קבצים של כמה שעות בודדות בחודש ואין לכם שרת ייעודי שפועל ממילא, להחזיק תשתית עצמאית בשבילו יהיה מיותר ויקר יותר משימוש בנקודת קצה חיצונית.

from transformers import pipeline

pipe = pipeline("audio-text-to-text", model="OpenMOSS-Team/MOSS-Transcribe-Diarize")
print(pipe("שלום"))

הקבצים

20 קבצים במאגר, 1.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00000-of-00001.safetensors1.8 GB
• tokenizer.json11.4 MB
• vocab.json2.8 MB
• merges.txt1.7 MB
• model.safetensors.index.json65.4 KB
• Model_Architecture.png59.9 KB
• modeling_moss_transcribe_diarize.py15.1 KB
• README.md14.0 KB
• processing_moss_transcribe_diarize.py11.0 KB
• chat_template.jinja4.8 KB
• configuration_moss_transcribe_diarize.py2.7 KB
• config.json2.3 KB
• .eval_results/open_asr_leaderboard.yaml1.9 KB
• added_tokens.json707 B
• special_tokens_map.json613 B
• tokenizer_config.json503 B
• preprocessor_config.json315 B
• processor_config.json292 B
• .gitattributes226 B
• generation_config.json107 B

הרישיון

הפרויקט מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהטמיע אותו במוצרים פנימיים או חיצוניים בלי תשלום תמלוגים, כל עוד שומרים על הודעת זכויות היוצרים ומצרפים עותק של הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗