enem

מה זה

המאגר כולל את כל שאלות הבחירה מתוך בחינת ה־ENEM, המבחן הפדרלי הסטנדרטי לקבלה ללימודים גבוהים בברזיל, עבור המועדים 2022, 2023 ו־2024. הנתונים מאורגנים בקובצי jsonl לפי שנתונים, כשכל רשומה היא שאלת בחינה שנאספה ישירות ממבחני האמת הרשמיים.

המטרה היא לתת בנצ'מרק שבודק גם מודלים של שפה בלבד וגם מודלים שמשלבים ראייה וטקסט. כדי לעקוף את המגבלה של מודלי שפה נטולי ראייה, הכותבים לקחו את תיאורי התמונות המילוליים מתוך חוברת המבחן הכתומה, מהדורה מיוחדת ונגישה שמיועדת במקור לנבחנים עם לקויות ראייה, והצמידו אותם לשאלות.

מתאים ל

• הערכת מודלי ראייה בפורטוגזית

  בדיקת היכולת של מודלים רב-מודאליים לפענח שאלות מבחן שמשלבות תרשימים ותמונות בשפה הפורטוגזית.

• מבחן ביצועים למודלי שפה

  הרצת מודלי שפה בלבד על שאלות הכוללות תיאורי תמונות נגישים מתוך המבחן הרשמי.

• השוואת ביצועים מול נבחנים

  מדידת הדיוק של מודלים מול שאלות בגרות ומיון אקדמיות ברמה סטנדרטית של מערכת החינוך הברזילאית.

איפה זה נופל

הנתונים כולם בפורטוגזית בלבד, אין כאן מילה בעברית או באנגלית וההקשר תרבותי ואקדמי ברזילאי לחלוטין. בנוסף מדובר במדגם קטן מאוד, פחות מאלף שאלות בסך הכל על פני שלוש שנים, כך שזה לא מתאים לאימון אלא אך ורק להערכה צרה. אם המודל שלכם לא מיועד לשוק הברזילאי או לחקירת יכולות רב-מודאליות ספציפיות על בחינות כניסה, אין לכם מה לחפש כאן.

איך טוענים

אין צורך בהרשאות גישה או אישור מיוחד, מורידים את הקבצים ישירות מהמאגר. מדובר בקבצי 2022.jsonl, 2023.jsonl ו־2024.jsonl, והנפח הכולל מזערי כיוון שיש במאגר פחות מאלף רשומות בסך הכל. מי שרוצה להריץ הערכה מוכנה מראש יכול למצוא את הקוד שפרסמו החוקרים בריפו gpt-4-enem בגיטהאב.

from datasets import load_dataset

ds = load_dataset("maritaca-ai/enem")

הרישיון

הרישיון הוא Apache 2.0. מותר להשתמש בנתונים למטרות מחקריות ומסחריות, לשנות אותם ולשלב אותם בקוד סגור, בלי חובת שיתוף תחת אותו רישיון. תנאי השימוש מחייבים שמירה על הודעת זכויות היוצרים וייחוס לחוקרים שפרסמו אותו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗