diar_streaming_sortformer_4spk-v2

מה זה

הוא מבצע חלוקה של רצועת שמע לפי דוברים בשידור חי, תוך שימוש במנגנון זיכרון ששומר דגימות קול של מי שכבר דיבר לפי סדר ההופעה שלהם. הארכיטקטורה משלבת מקודד Fast-Conformer של 17 שכבות עם בלוק טרנספורמר של 18 שכבות, ומוציאה הסתברויות לכל מקטע באורך 80 מילישניות.

התוצאות במבחנים מראות פער חד בהתאם למספר המשתתפים. בשיחות של שני דוברים במבחן CALLHOME הוא שומר על שיעור שגיאה של סביב חמישה עד שבעה אחוזים, אבל ברגע שיש חמישה דוברים ומעלה השגיאה מזנקת מעבר לעשרים ואפילו ארבעים אחוזים. הוא גם מציע בחירה בין רמות השהיה שונות, מעיכוב של כמעט חצי דקה שמדייק יותר ועד תגובה מהירה של שליש שנייה שמיועדת למערכות חיות.

מתאים ל

• סוכן קולי אינטראקטיבי

  זיהוי בזמן אמת של הדובר שמול המערכת כדי לדעת למי להגיב בהשהיה נמוכה.

• תמלול פגישות צוות קטנות

  חלוקה אוטומטית של רפליקות בחדר של עד ארבעה משתתפים ישירות לצד מנוע תמלול.

• הפרדת שיחות תמיכה

  מעקב מדויק אחרי נציג ולקוח בשיחת טלפון כפולה עם אחוזי שגיאה נמוכים מאוד.

איפה זה נופל

המגבלה הכי גדולה היא תקרת ארבעת הדוברים. אם יש לכם שיחת ועידה עם חמישה אנשים ומעלה, הביצועים שלו מתרסקים לחלוטין. בנוסף, האימון התבסס ברובו הגדול על אנגלית, ולכן דיוק ההפרדה בהקלטות בעברית או בסביבות רועשות מחוץ למעבדה עלול לרדת משמעותית. הוא גם עלול לאבד עקביות בהקלטות רצופות של שעות רבות.

אותה משפחה

diar-streaming-sortformer-4spk יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

אפשר להריץ אותו בפייתון דרך ספריית NeMo, שדורשת התקנה של PyTorch, Cython וכלים כמו ffmpeg. לחלופין יש קובץ מכווץ בפורמט GGUF שמיועד להרצה קלה ב־C++ דרך פרויקט NeMo-Speech.cpp, שמאפשר להוסיף חותמות דובר ישירות לקובצי תמלול.

עם 117 מיליון פרמטרים ומשקל קבצים של קצת מעל 600 מגהבייט, אפשר להריץ אותו בקלות על כרטיס מסך ביתי בודד או אפילו מקומית על מעבד בעזרת גרסת ה־GGUF. אנבידיה בדקה אותו על RTX 6000 Ada שבו הוא מציג מהירות גבוהה פי כמה מזמן אמת, כך שחומרה מפלצתית נחוצה רק אם אתם מתכננים לאמן אותו מחדש.

ollama run hf.co/nvidia/diar_streaming_sortformer_4spk-v2:Q8_0

הקבצים

10 קבצים במאגר, 609 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diar_streaming_sortformer_4spk-v2.nemo471.4 MB
• diar_streaming_sortformer_4spk-v2.q8_0.gguf147.1 MB
• figures/aosc_4spk_example.gif13.6 MB
• figures/aosc_3spk_example.gif5.5 MB
• figures/streaming_steps.png637.2 KB
• figures/sortformer-v1-model.png486.2 KB
• figures/sortformer_intro.png325.1 KB
• figures/fifo.png122.8 KB
• README.md27.3 KB
• .gitattributes2.4 KB

הרישיון

הוא מופץ תחת רישיון CC-BY-4.0. המשמעות היא שמותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במוצרים, בתנאי שנותנים קרדיט מתאים לאנבידיה ומציינים אם נעשו שינויים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא בעמוד המודל ↗