MMLU-Pro

מה זה

המאגר כולל 12,032 שאלות אמריקאיות קשות במגוון דיסציפלינות כמו מתמטיקה, פיזיקה, כימיה, משפטים והנדסה. רוב השאלות מציגות עשר אפשרויות בחירה במקום ארבע, כדי לצמצם הצלחה מניחוש מקרי ולהקשות על מענה ישיר ללא שרשרת מחשבה.

הבסיס מורכב מסינון של שאלות מקוריות מתוך מאגר הבנצ'מרק המוכר, לצד 5,222 שאלות חדשות שנאספו ממקורות כמו אתרי מדע וטכנולוגיה, מבחני אוניברסיטה ממאגר SciBench, ושאלות מבוססות משפטים מתוך TheoremQA. כדי להרחיב את מספר המסיחים השתמשו ביוצרי תוכן אוטומטיים מבוססי מודלים, ולאחר מכן צוות מומחים עבר ידנית על הנתונים, תיקן טעויות והסיר מסיחים לא הגיוניים.

מתאים ל

• הערכת יכולות הסקה

  בדיקת ביצועי מודלי שפה במשימות הדורשות חשיבה רב-שלבית מורכבת במדעים מדויקים.

• השוואת ביצועי מודלים

  מדידת פערים אמיתיים בין גרסאות מודלים שונות מול עשרה מסיחים מבלבלים במקום ארבעה.

• בקרת איכות לתשובות שגויות

  ניתוח מקרים שבהם מודל נוטה ליפול למסיחים מנומקים שנוצרו על ידי בינה מלאכותית.

איפה זה נופל

כל השאלות והתשובות מנוסחות באנגלית בלבד, כך שהמאגר אינו בודק יכולות בעברית או בהקשרים מקומיים. בנוסף, המפרסמים עצמם מדווחים על טעויות עובדתיות ומבניות שמתגלות ומתוקנות לאורך הזמן, החל מרווחים מיותרים באפשרויות ששימשו מודלים כקיצור דרך, ועד תיקוני תוכן ברפואה, מתמטיקה וניסוחי שאלות. אל תסתמכו על תקינות עיוורת בכל שאלה בודדת.

איך טוענים

הנתונים מחולקים לקובצי Parquet מוכנים עבור שלבי האימות והמבחן, ללא צורך בהרשאות מיוחדות או אישור גישה מוקדם. המאגר כולל גם סקריפטים להרצה ישירה של הערכות מול מודלים, וקובץ הגדרות בפורמט YAML. מומלץ להריץ את המודלים שלכם עם הנחיה שמחייבת שרשרת מחשבה, משום שבמענה ישיר הציונים צונחים בחדות.

from datasets import load_dataset

ds = load_dataset("TIGER-Lab/MMLU-Pro")

הרישיון

המאגר מופץ תחת רישיון MIT. מותר להשתמש בו בחופשיות לכל צורך, כולל מחקר ושימושים מסחריים, וניתן להעריך או לאמן עליו מודלים מסחריים בלי חובת שיתוף זהה, כל עוד שומרים על הודעת זכויות היוצרים של היוצרים המקוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗