audiomc
קוד פתוחScaleAImit2025-12-16
המאגר בוחן מודלי דיבור מקצה לקצה בשיחות מרובות תורות ומצבי דיבור טבעיים. הוא נועד למי שרוצה לבדוק עמידות לתיקוני דיבור באמצע משפט וזיהוי רמזי אודיו שאינם טקסט.
- 608הורדות בחודש
- 24לייקים
מה זה
הנתונים כוללים 452 שיחות מוקלטות שמגיעות מ־47 דוברים שונים, לצד 1,712 מחוונים שנועדו להערכה אוטומטית. הבסיס נשען על מסגרת MultiChallenge הטקסטואלית, שבודקת יכולות כמו זיכרון הסקתי, שמירה על הוראות ועקביות עצמית של המודל לאורך זמן, אך כאן הרחיבו את המבחנים לממדי שמע אמיתיים.
ההרחבה הקולית מתמקדת בשני רכיבים מרכזיים. הרכיב הראשון נקרא Voice Editing, והוא מעמיד למבחן את היכולת של המערכת להתמודד עם שינויי כיוון, תיקונים עצמיים באמצע משפט וחזרה לאחור של הדובר. הרכיב השני מוסיף אתגרים סביב רמזי שמע, שבהם המודל נדרש לזהות ולזכור צלילי רקע ואותות פאראלינגוויסטיים שאינם מופיעים בתוכן הסמנטי הטהור של המילים.
המבנה מיועד להרצה באמצעות שופט מבוסס מודל שפה, ספציפית o4-mini, שבודק את התור האחרון בשיחה אל מול כל אחד מפריטי המחוון. תהליך הסינון והבדיקה מחזיר הסבר טקסטואלי לצד ערך בוליאני שמציין האם התשובה עמדה בקריטריון הנדרש.
מתאים ל
- מבחן עמידות לתיקוני דיבור
בדיקה אם מודל קולי מתבלבל כשהמשתמש מתקן את עצמו ומשנה הוראה באמצע הדיבור.
- הערכת זיהוי רעשי רקע
מדידת היכולת של המודל להסיק מסקנות מצלילי סביבה ואותות שאינם מילים מפורשות.
- בקרת עקביות בשיחה ארוכה
הרצת שיחות מרובות תורות כדי לוודא שהמערכת זוכרת הנחיות שניתנו בתחילת האינטראקציה.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, ואין בו שום ייצוג לעברית או למבטאים מקומיים. הוא מכיל 47 דוברים בלבד ב־452 שיחות, כך שמדובר בכלי מדידה ממוקד ולא בבסיס נתונים רחב לאימון. תהליך ההערכה תלוי לחלוטין במודל חיצוני של OpenAI כשופט, מה שמכניס הטיות שיפוט ועלויות API בכל הרצה של הבנצ'מרק.
שאלות
נפוצות
האם המאגר מתאים למוצר מסחרי?
כן, רישיון MIT מתיר שימוש מסחרי מלא ללא הגבלת שיתוף זהה. כל עוד שומרים על הקרדיט המקורי, מותר להשתמש בנתונים לבדיקת מוצרים ומודלים פנימיים.
האם אפשר להעריך באמצעותו מודלים בעברית?
לא. כל 452 השיחות והמחוונים מוקלטים ומנוסחים באנגלית בלבד. כדי להשתמש בו בעברית תצטרכו להקליט מחדש את השיחות ולתרגם את המחוונים.
האם הדאטהסט משמש לאימון מודל קולי?
לא מומלץ. מדובר בבנצ'מרק הערכה קטן עם 47 דוברים בלבד, שנועד למדוד ביצועים של מודלים קיימים ולא לספק מספיק דאטה לאימון אפקטיבי.
איך טוענים
הנתונים יושבים בקובץ פרקט יחיד תחת תיקיית הדאטה, לצד קובץ מטא-דאטה של רמזי שמע. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בזמן הבדיקה מריצים את היסטוריית השיחה מול המודל הנבדק, ואז שולחים את התשובה האחרונה יחד עם פריטי המחוון למודל השופט לקבלת ציון בפורמט מובנה.
from datasets import load_dataset
ds = load_dataset("ScaleAI/audiomc")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי והפצה של הנתונים. מותר להשתמש בו להערכה ולפיתוח מודלים מסחריים, ובלבד ששומרים על הודעת זכויות היוצרים המקורית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש