ContextASR-Bench

מה זה

המאגר מציע מבחן ביצועים ממוקד לזיהוי דיבור מבוסס הקשר, עם דגש על שמות וישויות מורכבות ביותר מעשרה תחומים מקצועיים שונים, כמו רפואה והנדסה. הוא מכיל עד 40,000 רשומות ויותר מ־300,000 ישויות. הטקסטים עצמם אינם שיחות אנושיות מוקלטות מהעולם האמיתי, אלא טקסטים עתירי ישויות שנוצרו על ידי מודל השפה DeepSeek-R1 ולאחר מכן הומרו לקבצי שמע בעזרת מערכת Zero-Shot TTS.

הנתונים מחולקים לשני מערכי בדיקה עיקריים: דיבור רציף ודיאלוגים, שניהם זמינים באנגלית ובמנדרינית. כל רשומה כוללת קובץ שמע, תמלול מדויק, ושני סוגי הקשר שמצורפים אליה, הקשר כללי לפי תחום והקשר ספציפי של רשימת הישויות. המבנה הזה נועד לאפשר בדיקה בשלושה מצבים שונים, ללא הקשר בכלל, עם הקשר כללי, או עם רשימת הישויות המלאה בתוך הפרומפט.

מתאים ל

• הערכת זיהוי ישויות

  בדיקת הדיוק של מודלי שמע בזיהוי מונחים טכניים ורפואיים נדירים.

• בחינת שילוב הקשר

  מדידת השיפור בתמלול כאשר מספקים למודל פרומפט עם רשימת מילים רלוונטית.

• השוואת מודלי שפה קוליים

  בנצ'מרק ייעודי להשוואה בין מודלי אודיו מודרניים למערכות תמלול ישנות.

איפה זה נופל

החיסרון המרכזי כאן ברור: כל קבצי האודיו נוצרו בסינתזה מלאכותית ולא מדובר בדיבור אנושי אמיתי, כך שאין כאן התמודדות עם רעשי רקע אמיתיים, מבטאים טבעיים או איכויות הקלטה משתנות. בנוסף, המאגר תומך באנגלית ובמנדרינית בלבד, ולכן אין בו שום תועלת לפיתוח או הערכה בעברית. הנתונים מתאימים בעיקר כמבחן ביצועים ממוקד ליכולת עיבוד שמות וישויות, ולא הייתי מסתמך עליהם כאינדיקציה יחידה ליכולות של מערכת זיהוי דיבור שפוגשת משתמשים אמיתיים בשטח.

איך טוענים

המאגר פתוח להורדה ישירה ללא צורך באישור גישה מיוחד, והוא כולל 35 קבצים שמחולקים לפי שפות ומשימות. הטקסטים והמטא-דאטה מאורגנים בקובצי jsonl נפרדים לאנגלית ולמנדרינית, בעוד שקבצי השמע ארוזים בתוך קובצי tar מרובים. בכל רשומה ב־jsonl תמצאו את נתיב האודיו, התמלול, והשדות של ההקשר ברמות הפירוט השונות. כדי להריץ עליו הערכה תצטרכו לחלץ את הארכיונים ולקשר בין קובצי הקול לתגיות, כאשר קוד הבדיקה המלא זמין במאגר הגיטהאב של הפרויקט.

from datasets import load_dataset

ds = load_dataset("MrSupW/ContextASR-Bench")

הרישיון

המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, מחקר, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף פיתוחים או מודלים שתאמנו עליו תחת אותו הרישיון, מה שמאפשר לשלב אותו בצורה נוחה בצנרת פיתוח מסחרית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗