AMO-Bench

מה זה

מדובר במבחן ביצועים שמורכב מ־50 שאלות שנכתבו במיוחד על ידי מומחי מתמטיקה ממוסדות אקדמיים, במטרה להציב רף קושי שמתחיל ברמה של אולימפיאדת המתמטיקה הבינלאומית. כל רשומה כוללת מזהה שאלה, ניסוח מלא בפורמט מרקדאון עם נוסחאות LaTeX, פתרון אנושי מפורט צעד אחר צעד, תשובה סופית בלבד, וסיווג סוג התשובה מתוך ארבעה סוגים אפשריים.

תהליך הסינון כלל ארבעה שלבים קפדניים, שכללו כתיבה עצמאית, ביקורת עמיתים עיוורת על ידי שלושה מומחים לפחות, בדיקת מקוריות מול חומרים קיימים ברשת, וסינון קושי בעזרת מודלי שפה כדי להבטיח שהשאלות לא ייפתרו בקלות. המבנה ממוקד בבדיקת תשובה סופית ולא בהוכחה שלמה, מה שמאפשר לבדוק את התוצאות בצורה אוטומטית בעזרת מפענח ייעודי עבור 39 מהשאלות או בעזרת שיפוט מודל שפה עבור היתר.

מתאים ל

• בדיקת ביצועי קצה למודלים

  מדידת יכולת ההסקה המתמטית של מודלי שפה על שאלות ברמת IMO שלא נכללו באימון מוקדם.

• ניתוח מסלולי פתרון

  שימוש בפתרונות האנושיים המפורטים לצורך הנדסת פרומפטים וניתוח טעויות הסקה של מודלים.

• מדידת יעילות טוקנים

  בחינת כמות הטוקנים הנדרשת למודל בזמן ריצה כדי להגיע לתשובה נכונה בבעיות קשות.

איפה זה נופל

הבעיה המרכזית היא הגודל המזערי של 50 שאלות בלבד, כך שכל טעות בודדת משנה את הציון בשני אחוזים שלמים. למרות מאמצי המקוריות, בדיונים במאגר כבר התגלה ששאלה 26 זהה לשאלת תחרות קיימת, שאלות 38 ו־39 דומות מאוד למאמרים ב־arXiv, ובשאלה 35 התגלתה שגיאת ניסוח שתוקנה בדיעבד. הטקסט כולו באנגלית בלבד ללא שום ייצוג לעברית. בנוסף, ארבע שאלות דורשות חישובים מספריים כבדים שקשה למודלים לפתור בלי כלי חישוב חיצוניים.

איך טוענים

הנתונים יושבים בקובץ פרקט יחיד בשם test-00000-of-00001.parquet ונגישים להורדה מיידית ללא צורך בהרשאה מוקדמת. כל המאגר כולל ארבעה קבצים בלבד, כך שהמשקל שלו זניח לחלוטין. כדי להריץ הערכה, מכינים קובץ תשובות של המודל בפורמט שורות JSON עם מזהה השאלה והפלט, ומריצים את סקריפט הבדיקה שמסופק במאגר הקוד הרשמי. חובה לשים לב לשדה התשובה הסופית, שמופיע לרוב בתוך תבנית boxed, ולהגדיר מפתחות גישה אם מפעילים בדיקה מבוססת מודל עבור שאלות שאינן נבדקות על ידי המפענח.

from datasets import load_dataset

ds = load_dataset("meituan-longcat/AMO-Bench")

הרישיון

המאגר מופץ ברישיון MIT, מה שמעניק חופש מלא לשימוש מסחרי, מחקרי, שינוי והפצה ללא הגבלות מיוחדות. הדרישה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי. הרישיון אינו כופה שיתוף באותו רישיון, ומודל שאומן או הוערך בעזרת הנתונים אינו מושפע ממגבלות קנייניות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗