ArabicMMLU

מה זה

המאגר מכיל שאלות רב ברירה עם עד 5 אפשרויות תשובה ורק תשובה נכונה אחת לכל שאלה. הנתונים מגיעים ממבחנים בבתי ספר ובאוניברסיטאות ברמות לימוד שונות, ומכסים 40 משימות שונות בתחומי מדעים מדויקים, מדעי החברה, מדעי הרוח, השפה הערבית ותחומים נוספים.

איסוף הנתונים ובניית המאגר נעשו בשיתוף 10 דוברים ילידיים של השפה משמונה מדינות שונות בצפון אפריקה, הלבנט והמפרץ. מקורות המידע המרכזיים שמהם נלקחו השאלות הם ירדן, מצרים ופלסטין. כל החומרים כתובים בערבית ספרותית מודרנית ומחולקים לפי נושאי לימוד וקבצי פיתוח ומבחן.

מתאים ל

• בנצ'מרק למודלים בערבית

  הערכת ביצועי מודלי שפה בערבית ספרותית על פני 40 תחומי ידע שונים.

• השוואת פרומפטים

  בדיקת איכות התשובות של מודלים בהרצה עם פרומפטים באנגלית מול ערבית.

• מדידת יכולות פתרון מבחנים

  בחינת יכולת המודל להתמודד עם שאלות רב ברירה אקדמיות ברמות שונות.

איפה זה נופל

כל השאלות מנוסחות בערבית ספרותית מודרנית בלבד. אם המוצר שלכם פונה למשתמשים בניבים מדוברים, המאגר לא משקף את השפה שלהם. בנוסף, רוב השאלות מגיעות משלוש מדינות בלבד, ירדן, מצרים ופלסטין, כך שיש הטיה לחומרי לימוד ולתכנים תרבותיים מאזורים אלה. החוקרים גם מציינים שבבדיקות שלהם דווקא פרומפטים באנגלית הניבו תוצאות טובות יותר בהערכת המודלים.

איך טוענים

טוענים את המאגר ישירות בספריית datasets עם הפקודה load_dataset('MBZUAI/ArabicMMLU'). אין צורך בבקשת גישה מיוחדת, והמאגר פתוח להורדה. הוא כולל 84 קבצים בפורמט CSV המחולקים לפי נושאים, כמו דקדוק בערבית או חשבונאות, עם פיצול מובנה לתיקיות פיתוח ובדיקה. השדות המרכזיים כוללים את תוכן השאלה, אפשרויות הבחירה והתשובה הנכונה.

from datasets import load_dataset

ds = load_dataset("MBZUAI/ArabicMMLU")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה, אסור להשתמש בנתונים האלה לכל מטרה מסחרית. מותר להשתמש בהם למחקר, הערכה ובדיקות פנימיות, תוך מתן קרדיט מלא ליוצרים. אימון מודל שנועד להפצה מסחרית על בסיס הנתונים האלה מפר את תנאי הרישיון.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗