ultraVAD

מה זה

במקום לחכות לשקט מוחלט של שתי שניות כדי להחליט שהמשתמש סיים, המודל הזה לוקח את היסטוריית הטקסט של השיחה יחד עם האודיו האחרון ומחשב הסתברות לסיום תור. הוא מבוסס על שלד של Llama-8B שעבר אימון ייעודי יחד עם מקרן האודיו של Ultravox, ותומך ב־26 שפות.

במבחן שדורש הבנת הקשר מול מודל כמו Smart-Turn V2, הוא הגיע לדיוק של 77.5 אחוז מול 63 אחוז, עם ציון recall גבוה מאוד של 97.5 אחוז שמבטיח כמעט אפס פספוסים בסיום דיבור. לעומת זאת, בבדיקות של משפט בודד בלי הקשר מורכב, הוא מקבל 93.7 אחוז לעומת 94.3 אחוז של המתחרה. היתרון שלו קיים נטו כשצריך לדעת אם שתיקה קצרה היא הפסקה למחשבה או סוף שיחה.

מתאים ל

• זיהוי סיום דיבור בסוכן קולי

  חישוב הסתברות מדויק לפי הקשר השיחה והאודיו, כדי לא לקטוע משתמשים שרק לוקחים אוויר.

• פילטר משני ל־VAD בסיסי

  בדיקה ממוקדת של שתיקות קצרות שנלכדו ברמת האודיו, רק ברגעים שהשיחה נעצרת.

• מערכות דיאלוג רב־לשוניות

  כיסוי של 26 שפות נתמכות שבהן המודל מאומן לזהות סיומי משפטים עם מקרן ייעודי.

איפה זה נופל

המודל לא מחליף זיהוי קולי רציף, ואם תריצו אותו כל הזמן תשרפו משאבים. רשימת 26 השפות כוללת ערבית, רוסית ואנגלית, אבל עברית לא נמצאת בה. בלי עברית, אל תצפו שהוא יזהה נכון אינטונציות או סיומי משפטים מקומיים. בנוסף, ברירת המחדל מציעה רף החלטה של 0.1, מה שאומר שתצטרכו לכייל אותו בעצמכם לכל דומיין ושפה כדי לא לקבל תוצאות שקוטעות מהר מדי.

איך מריצים

המודל שוקל 1.3 גיגה בייט ומחזיק 687 מיליון פרמטרים ב־bfloat16. לפי המפתחים, ריצת forward לוקחת בין 65 ל־110 מילישניות על כרטיס A6000. זה אומר שאי אפשר להריץ אותו רציף על כל מילישנייה של שמע מטעמי ביצועים.

צורת העבודה הנכונה היא לחבר אותו כשלב שני אחרי VAD מהיר וזול כמו Silero. ברגע שה־VAD הרגיל מזהה שקט קצר, קוראים למודל הזה עם טקסט השיחה והאודיו האחרון. אם ההסתברות עוברת את הרף שלכם, מתחילים לייצר תשובה.

from transformers import pipeline

pipe = pipeline("feature-extraction", model="fixie-ai/ultraVAD")
print(pipe("שלום"))

הקבצים

13 קבצים במאגר, 1.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.4 GB
• tokenizer.json17.2 MB
• tokenizer_config.json55.7 KB
• ultravox_model.py40.7 KB
• ultravox_processing.py17.6 KB
• ultravox_config.py7.6 KB
• ultravox_pipeline.py4.9 KB
• README.md4.7 KB
• config.json2.2 KB
• .gitattributes1.6 KB
• ultravox_tokenizer.py850 B
• special_tokens_map.json619 B
• generation_config.json181 B

הרישיון

בעמוד המודל לא דווח רישיון. מצב כזה אומר שמבחינה משפטית אין לכם הרשאה ברורה להשתמש בו במוצר מסחרי, לשלב אותו בקוד סגור או להפיץ אותו. תצטרכו לבדוק את המאגר הראשי של Ultravox לפני שאתם בונים עליו תשתית ייצור.

הרישיון המלא בעמוד המודל ↗