StepEval-Audio-360
קוד פתוחstepfun-aiapache-2.02025-02-14
מאגר מבחן קולי שנועד להעריך מודלים רב-מודאליים באינטראקציה מדוברת. הוא מציע הקלטות אנושיות מקצועיות במגוון משימות, משירה ומשחקי תפקידים ועד פקודות קוליות מורכבות.
- 81הורדות בחודש
- 29לייקים
מה זה
המאגר בנוי כסדרת שיחות מרובות תורות שנועדו לבחון את היכולות של מודלי שפה אודיו מקצה לקצה. הנתונים עצמם הוקלטו על ידי מתייגים אנושיים מקצועיים ומכילים גם קבצי שמע וגם תמלול טקסטואלי מלא של הנאמר. לפי כרטיס המאגר, ההקלטות מכסות טווח רחב של תרחישים: שירה, יצירתיות, משחקי תפקידים, הסקת מסקנות לוגית, הבנת קול, מעקב אחר הוראות קוליות, משחקים, שליטה ברגש בדיבור ויכולת לשונית כללית.
מבחינת שפות, החומר מורכב מקולות אנושיים באנגלית, יפנית וסינית, כולל דיאלקטים כמו קנטונזית וסצ'ואנית. החלוקה הפנימית מבוססת על קובץ מבחן יחיד שבו כל רשומה מייצגת שיחה שלמה. התיעוד לא מפרט תהליכי סינון או ניקוי ספציפיים שנעשו על ההקלטות מעבר להסתמכות על מתייגים מקצועיים, אך המבנה הכללי נועד לשקף אינטראקציה טבעית ועשירה יותר מעוד מבחן תמלול פשוט.
מתאים ל
- בנצ'מרק למודלי שמע
מדידת ביצועים של מודלים רב-מודאליים במשימות קוליות מורכבות כמו הבנת רגש ומעקב אחר פקודות.
- בדיקת דיאלקטים באסיה
בחינת יכולות פענוח ושיחה בניבים סיניים ספציפיים וביפנית מול קולות אנושיים מקצועיים.
- הערכת שיחות מרובות תורות
בדיקה של יכולת המודל לשמור על הקשר שיחתי ממושך המשלב קלט קולי ותמלול טקסטואלי.
איפה זה נופל
המאגר מיועד להערכה בלבד וכולל פיצול מבחן יחיד, כך שהוא לא מתאים לאימון. מבחינת שפות, אין כאן עברית בכלל. הכיסוי מוגבל לאנגלית, יפנית וניבים שונים של סינית, כך שאי אפשר לבדוק בעזרתו התאמה לשוק המקומי. בנוסף, הכרטיס לא מספק נתונים על כמות השעות הכוללת, מספר הדוברים, הגילאים שלהם או חלוקה מגדרית, מה שמקשה לזהות הטיות דמוגרפיות לפני שמריצים את הבדיקות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 שמאפשר שימוש מסחרי מלא. צריך רק לכלול את תנאי הרישיון המקוריים ולתת ייחוס ליוצרים.
האם יש במאגר הקלטות בעברית?
לא, המאגר כולל אך ורק אנגלית, יפנית וסינית על ניביה השונים. אין בו נתונים בעברית ולכן הוא לא רלוונטי להערכת מודלים בשפה זו.
איך מחברים בין התמלול לקובצי השמע?
המטא-דאטה מגיע בקובץ parquet ומכיל מזהה קובץ בשדה audio_filename לכל תור בשיחה. את קובצי הקול עצמם צריך להוריד דרך git-lfs ולחלץ ידנית מתוך ארכיון audios.tar.gz.
האם הדאטהסט מתאים לאימון מודל קולי?
לא מומלץ. מדובר בערכת הערכה שמכילה רק פיצול test ללא סטים של אימון או ולידציה, ומטרתה העיקרית היא מדידת יכולות של מודלים קיימים.
איך טוענים
טוענים את המטא-דאטה ישירות דרך ספריית datasets עם הנתיב stepfun-ai/StepEval-Audio-360, ללא צורך באישור גישה מראש. הקובץ המרכזי מגיע בפורמט parquet כחלק מפיצול test. יחד עם זאת, קבצי הקול עצמם אינם נטענים אוטומטית כזרם שמע אלא ארוזים בקובץ מכווץ בשם audios.tar.gz. כדי לעבוד איתם בפועל צריך לשכפל את המאגר עם git-lfs, לחלץ את הארכיון לתיקייה מקומית, ולהצליב בין השדה audio_filename שברשומת השיחה לבין הקובץ שנפרס בדיסק.
from datasets import load_dataset
ds = load_dataset("stepfun-ai/StepEval-Audio-360")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן דרישה לשיתוף תחת אותו רישיון, ומודל שנבדק או נעזר בנתונים אלה אינו מחויב לפתוח את הקוד שלו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים