MMSU
קוד פתוחddwang2000mit2025-05-15
המאגר מרכז 5,000 צמדי אודיו, שאלות ותשובות שמיועדים לבחינת הבנת דיבור והסקה במודלים מולטימודליים. הוא מתמקד בתופעות לשוניות יומיומיות ומכסה 47 משימות משנה שונות.
- 2,806הורדות בחודש
- 15לייקים
מה זה
הנתונים כוללים 5,000 זוגות של קבצי שמע, שאלות ותשובות שמגיעים מהקלטות מקוריות מגוונות. המבנה מבוסס על קבצי קול בפורמט wav, כמו זיהוי מבטאים, לצד שאלות שמכוונות לבחון מודלים מולטימודליים. המטרה היא לבדוק הבנה עמוקה של דיבור יומיומי ולא רק תמלול בסיסי, כשהרשומות מיועדות למשימות מענה על שאלות סביב האודיו.
התוכן מחולק ל־47 תת-משימות שונות שמכסות תחומים נרחבים: פונטיקה, פרוזודיה, רטוריקה, תחביר, סמנטיקה ופראלינגוויסטיקה. החלוקה הזו מאפשרת למדוד גם יכולות תפיסתיות בסיסיות של הצליל וגם הסקה מורכבת ברמה גבוהה. הכרטיס לא מפרט את אופן הסינון המדויק או חלוקה מוגדרת למקטעי אימון ומבחן מעבר לרשימת המשימות הכוללת, אך מציג את הדגימות כאוסף שנועד לייצג מגוון תופעות דיבור אמיתיות.
מתאים ל
- הערכת מודלי דיבור
בדיקת יכולות הסקה והבנה של מודלים מולטימודליים על 47 משימות דיבור שונות.
- מענה לשאלות קוליות
אימון ומדידה של מערכות שמקבלות שמע ומחזירות תשובות לשאלות מורכבות.
- מחקר פונטיקה ופרוזודיה
ניתוח ביצועי מודלים בזיהוי מאפייני דיבור כמו אינטונציה, רטוריקה ומבטא.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שאין כאן שום מענה לעברית או לשפות אחרות. הכרטיס לא מציין מאיזה מקורות הגיעו ההקלטות, מה גיל הדוברים, מה ההתפלגות הדמוגרפית שלהם או באילו שנים החומר הוקלט. בנוסף, חסר פירוט לגבי אופן הסינון של הדגימות ובדיקת איכות התשובות. לפני שמשלבים את המאגר במערכת אמיתית, חובה לבדוק ידנית את איכות ההקלטות והשאלות כדי לוודא שאין הטיות מבטא או מגדר שלא תועדו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, המאגר פורסם תחת רישיון MIT שמאפשר שימוש מסחרי חופשי. עליכם לכלול את הודעת זכויות היוצרים והרישיון המקורי במסמכי הפרויקט. אין חובה לחשוף את קוד המערכת או את המודל המאומן.
האם המאגר כולל דגימות בעברית?
לא. המאגר מתועד כשפה האנגלית בלבד. כל קבצי השמע, השאלות והתשובות מבוססים על אנגלית ולא יתאימו לפיתוח מודלים לעברית.
איך נאספו הנתונים?
הכרטיס מציין שהמאגר מורכב מ־5,000 זוגות שנאספו מהקלטות מקוריות מגוונות. עם זאת, אין פירוט מדויק לגבי מקורות ההקלטות הספציפיים, תהליך הסינון שבוצע או האופן שבו נוצרו השאלות והתשובות.
כמה קבצים יש במאגר ומה הפורמט שלהם?
המאגר כולל 5,007 קבצים. רובם קבצי שמע בפורמט wav המקושרים למשימות השונות, לצד קבצי טקסט לתיעוד השאלות והתשובות.
איך טוענים
טוענים את הנתונים ישירות דרך פייתון בעזרת ספריית datasets עם הנתיב ddwang2000/MMSU. אין צורך באישור גישה מקדים והמאגר פתוח להורדה. המאגר מכיל 5,007 קבצים שכוללים קבצי שמע בפורמט wav וטקסטים של שאלות ותשובות, כך שצריך לקחת בחשבון נפח הורדה של אלפי קבצי קול מקומיים. קוד ההערכה המלא זמין במאגר גיטהאב חיצוני של הפרויקט.
from datasets import load_dataset
ds = load_dataset("ddwang2000/MMSU")הרישיון
הרישיון הוא MIT. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, לשנות אותם ולשלב אותם בכל פרויקט. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. הרישיון לא מחייב שיתוף של מודל שאומן עליהם באותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש