MusicTheoryBench
קוד פתוחm-a-pcc2023-12-10
מבחן ידע והסקה בתאוריית המוזיקה שמיועד למודלי שפה, עם שאלות ברמת תיכון ואקדמיה. הוא נותן מדד נקודתי להבנת מושגים, תווים ומבנים מוזיקליים בלי צורך בניתוח קבצי אודיו.
- 430הורדות בחודש
- 30לייקים
מה זה
המאגר כולל 372 שאלות אמריקאיות עם ארבע אפשרויות ותשובה נכונה אחת בלבד. התוכן מחולק לשני תחומים עיקריים: 269 שאלות בודקות ידע מוזיקלי ישיר, ו־98 שאלות דורשות הסקה לוגית רב-שלבית, חישוב סולמות, מקצבים ואקורדים. בנוסף יש 5 שאלות שמיועדות להערכה עם דוגמאות בתוך הפרומפט. הנושאים מכסים שלושים תחומים שונים במוזיקה מערבית ומזרחית, כולל הרמוניה, קונטרפונקט, תזמור והיסטוריה.
השאלות נכתבו על ידי מרצה מקצועי למוזיקה באקדמיה בסין, בהתבסס על ספרי לימוד ומבחנים אקדמיים. צוות מוזיקאים עבר על התכנים וערך אותם בפורמט טקסטואלי ובתיווי אותיות מוזיקלי. מכיוון שהמקור נכתב בחלקו בסינית, השאלות תורגמו לאנגלית באמצעות מודל חיצוני ועברו הגהה אנושית.
מתאים ל
- הערכת מודלים במוזיקה
בדיקת יכולת המודל לפתור שאלות רב-שלביות בחישוב אקורדים ומקצבים.
- מבחן השוואתי לידע מוזיקלי
הרצת שאלות ידע על היסטוריה ותיאוריה מוזיקלית מול כמה מודלים.
- בדיקת הבנת תיווי טקסטואלי
בחינה של יכולת המודל לפענח תווים שנכתבו בפורמט אותיות מוזיקלי.
איפה זה נופל
המאגר קטן מאוד ומכיל 372 שאלות בסך הכל, כך שהוא מתאים למבחן בלבד ולא לאימון מודלים. הוא זמין בעיקר באנגלית, ואינו כולל עברית. מחצית מהתוכן תורגם מסינית באמצעות מודל שפה, מה שעלול לייצר אי דיוקים בניסוחים מקצועיים למרות ההגהה.
יוצרי המאגר מציינים שהתוצאות שפורסמו נמדדו במצב בדיקת הסתברויות ולא ביצירת טקסט ישירה, שם המודלים מתקשים הרבה יותר. בנוסף, כל התווים מוצגים בטקסט אותיות, מה שדורש מהמודל הבנה מופשטת ולא ייצוג אודיו או תווים ויזואליים.
שאלות
נפוצות
האם המאגר מתאים לאימון מודלים?
לא, המאגר כולל 372 שאלות בלבד ונועד למדידה והערכה של יכולות קיימות. אימון עליו יביא להתאמת יתר מיידית ולא יתרום ללמידה ממשית.
האם יש בדאטהסט שאלות בעברית?
אין במאגר עברית. השאלות מוצגות באנגלית, כאשר חלקן תורגמו מסינית במקור.
מאיפה הגיעו השאלות ומי חיבר אותן?
השאלות נכתבו על ידי מרצה למוזיקה מסין על בסיס מבחנים וספרי לימוד אקדמיים. צוות מוזיקאים בדק וסינן את השאלות לפני הפרסום.
האם מותר להשתמש במאגר באופן מסחרי?
הרישיון מוגדר רק כקריאייטיב קומונס ללא פירוט הסעיפים המדויקים. בגלל חוסר הבהירות הזה, מומלץ להימנע משימוש מסחרי ישיר בנתונים.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה הרגילה של האגינג פייס עם פקודת הטעינה הסטנדרטית, ללא צורך בהרשמה מיוחדת או באישור גישה. הקבצים שמורים בפורמט פארקט ומחולקים לחלוקת פיתוח ובדיקה. המאגר קל מאוד להורדה ולעיבוד מקומי כי הוא מכיל טקסט בלבד.
השדות כוללים את תוכן השאלה, האפשרויות לתשובה, והתיווי המוזיקלי שמבוסס על קידוד אותיות, לצד החלוקה לקטגוריות הידע וההסקה. כדאי להגדיר מראש את בדיקת התשובות על בסיס חישוב הסתברות הבחירה ולא על יצירת טקסט חופשי, לפי המלצת היוצרים.
from datasets import load_dataset
ds = load_dataset("m-a-p/MusicTheoryBench")הרישיון
המאגר סומן תחת רישיון קריאייטיב קומונס כללי בלי לציין את הסוג המדויק, כמו ייחוס או הגבלה מסחרית. המצב הזה מייצר אי ודאות משפטית לגבי שימוש מסחרי ישיר בנתונים או שילוב שלהם במוצר מסחרי. לצרכי מחקר והערכה פנימית של מודלים אין מניעה ממשית להשתמש בו.