AIME_2024

מה זה

המאגר מכיל בדיוק 30 שאלות שנלקחו משני המבחנים של תחרות התיכון האמריקאית AIME משנת 2024, חלק ראשון וחלק שני. אלו שאלות ברמת קושי גבוהה שמכסות תחומים שונים כמו גיאומטריה, אלגברה ותורת המספרים, ללא חלוקה מפורטת לקטגוריות בתוך הקבצים.

כל שורה מייצגת בעיה אחת וכוללת ארבעה שדות: מזהה ייחודי כמו שנתון ומספר שאלה, ניסוח הבעיה המלא, תהליך פתרון מפורט שלב אחר שלב, והתשובה הסופית שהיא תמיד ערך מספרי. אין פה חלוקה לסט אימון ובדיקה נפרדים, אלא אוסף יחיד שמיועד לבחינה ישירה של התוצאה הסופית מול המספר המבוקש.

מתאים ל

• בנצ'מרק למודלי שפה

  הרצת בדיקה מהירה של יכולות היסק ופתרון מתמטי רב-שלבי על מודל קיים.

• הערכת שרשרת מחשבה

  השוואת הפתרון המנומק שהמודל מייצר מול שדה התשובה המפורט של התחרות.

• בדיקת חילוץ תשובות

  אימות היכולת של המערכת לזקק ערך מספרי סופי ומדויק מתוך טקסט חופשי.

איפה זה נופל

זה לא מאגר לאימון. עם 30 רשומות בלבד, כל ניסיון לבצע פיין-טיונינג יוביל להתאמת יתר מיידית, והמטרה היחידה שלו היא בנצ'מרק. הנתונים קיימים באנגלית בלבד, כך שהוא לא יעזור למי שבוחן יכולות חישוב בעברית. בנוסף, מדובר במבחן ספציפי משנת 2024, מה שאומר שמודלים חדשים שנחשפו לחומרי התחרות ברשת עלולים פשוט לדקלם את התשובות מקונטקסט שראו בעבר ולא באמת לפתור אותן.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה Maxwell-Jia/AIME_2024, או מורידים ישירות את הקובץ aime_2024_problems.parquet שנמצא במאגר. המאגר כולל בסך הכל שלושה קבצים, שוקל פחות ממגה בודד, ופתוח לחלוטין בלי צורך בבקשת גישה או טוקן. בזמן הריצה צריך להתרכז בשדה Problem עבור הפרומפט, ולהשוות את הפלט מול השדה Answer, כששדה ה־Solution שימושי אם רוצים לבחון את דרך הפתרון בשיטות של שרשרת מחשבה.

from datasets import load_dataset

ds = load_dataset("Maxwell-Jia/AIME_2024")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי ומחקרי חופשי, מאפשר לשנות את הנתונים ולשלב אותם בכל פרויקט, כולל מודלים קנייניים, בתנאי ששומרים על הודעת זכויות היוצרים המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗