hungarian_national_hs_finals_exam

מה זה

המאגר כולל את שאלות בחינת הבגרות הלאומית במתמטיקה של הונגריה ממאי 2023, יחד עם פתרונות של שורת מודלים מוכרים ותסריטי בדיקה. השאלות נלקחו מהבחינה הרשמית ותועתקו לטקסט ולנוסחאות LaTeX, במטרה לשמש מבחן חיצוני אמיתי למודלים שאומנו לפני מועד פרסומה.

לצד קובץ הבחינה עצמו, המאגר מחזיק קובצי CSV בתיקיית solutions עם תשובות שחולצו ממודלים שונים כמו Code Llama, Mistral, Llemma, ודגמים מסחריים כמו GPT-4 ו־Claude 2. כל התשובות נבדקו ידנית על ידי יוצר המאגר לפי מחוון הציונים הרשמי של משרד החינוך ההונגרי תוך שימוש במדגם בטמפרטורה 0.1.

מתאים ל

• בדיקת מודלים נגד overfitting

  הרצת מודל על בחינה שלא הופיעה בדאטהסטים פופולריים כמו GSM8k לבדיקת יכולת הכללה נקייה.

• השוואת ביצועים למבחן אנושי

  מדידת פתרונות מודל מול מחוון ציונים רשמי של בחינת בגרות ארצית מוגדרת היטב.

• ניתוח טעויות בפתרון תרגילים

  בחינת קובצי הפתרונות הקיימים של מודלים כמו Llemma ו־Code Llama לצורך חקר כשלים מתמטיים.

איפה זה נופל

בדיקת התשובות בוצעה במלואה בידי אדם יחיד במהלך יום עבודה אחד, מה שעלול להכניס שגיאות אנוש בשיפוט. בנוסף, שאלות שדרשו שרטוט או הבנת תרשימים ואיורים קיבלו ציון אפס אוטומטית, משום שהמודלים שנבדקו היו מוגבלי טקסט. בעבר נפלו שגיאות תעתיק בשאלות 14a ו־14b שגרמו לחוסר במידע לפתרון ותוקנו מאוחר יותר. המבחן הוא מסמך בודד במועד ספציפי, כך שאינו מייצג כיסוי רחב של כלל רמות המתמטיקה.

איך טוענים

טוענים ומריצים את הבדיקה מקומית דרך הסקריפט run_exam.py שמצורף למאגר. הפקודה מקבלת את נתיב קובץ השאלות בפורמט CSV תחת test/exam.csv, שם המודל מ־Hugging Face, ומבנה הפרומפט. עבור מודלי בסיס הוגדר פרומפט של five-shot, ועבור מודלי הוראות נעשה שימוש בתבנית ברירת המחדל שלהם. אין צורך בבקשת גישה מיוחדת להורדת הקבצים.

from datasets import load_dataset

ds = load_dataset("keirp/hungarian_national_hs_finals_exam")

הרישיון

היוצר לא הגדיר רישיון שימוש במאגר. מבחינה משפטית, היעדר רישיון משמעו שכל הזכויות שמורות ואין הרשאה ברורה להשתמש בחומרים, לאמן עליהם מודלים מסחריים או להפיץ אותם מחדש. כל שימוש מסחרי או מחקרי ללא הבהרה ישירה מול בעל המאגר חושף אתכם לסיכון של הפרת זכויות יוצרים.

הרישיון המלא ב־Hugging Face ↗