BeyondAIME
קוד פתוחByteDance-Seedcc0-1.02025-06-17
מבחן מתמטי מאתגר שנועד לבדוק יכולות חשיבה מורכבות של מודלים. הבעיות שוכתבו ידנית כדי למנוע זליגת נתונים, וכולן מסתיימות בתשובה מספרית פשוטה לבדיקה אוטומטית.
- 2,541הורדות בחודש
- 19לייקים
מה זה
המאגר כולל מאה בעיות מתמטיקה מקוריות שנלקחו מתחרויות של בתי ספר תיכוניים ואוניברסיטאות, ברמת קושי של שאלות 11 עד 15 במבחני AIME ומעלה. כל רשומה כוללת שני שדות בלבד: שדה טקסט עם הבעיה עצמה בפורמט מרקדאון ותמיכה בביטויי LaTeX, ושדה מספרי שמכיל את התשובה הסופית כמספר שלם חיובי.
לפי הכרטיס, יוצרי המאגר שכתבו כל בעיה באופן ידני כדי לוודא שהיא לא תופיע בטקסטים ששימשו לאימון מוקדם של מודלים. הם ניסחו מחדש שאלות שדרשו הוכחות כדי למנוע ניחושים, ושמרו על איזון בין תחומי התוכן השונים של תחרויות מתמטיקה, בלי לדרוש ידע מתמטי שחורג מהרמה האוניברסיטאית הרגילה.
המבנה פשוט מאוד וכולל חלוקה אחת בלבד של בדיקה, ללא חלוקות לאימון או ולידציה. אין כאן פתרונות מודרכים או הסברים שלביים, אלא רק את הניסוח והערך הסופי להשוואה.
מתאים ל
- בנצ'מרק להסקה מתמטית
בדיקת יכולת המודל לפתור בעיות ברמת תחרויות אוניברסיטאיות ללא דליפת מידע מאימונים קודמים.
- בדיקת פלט אוטומטית
הרצת סקריפטים מהירים להערכת דיוק המודל באמצעות השוואה ישירה למספר שלם חיובי.
- השוואת מודלים מתקדמים
מדידת ביצועים של מודלים שונים על שאלות קשות שמנטרלות ניחושים מקריים.
איפה זה נופל
זה לא מאגר שמיועד לאימון אלא מבחן בלבד. יש בו רק מאה שאלות, כך שהוא קטן מכדי לשמש כדאטהסט לכוונון או ללימוד מעמיק. השאלות כולן באנגלית, ואין כאן שום תמיכה בשפות אחרות או בעברית.
מעבר לזה, המאגר בודק יכולת להגיע למספר שלם חיובי. אם המודל שלכם אמור לכתוב הוכחות מלאות, להסביר תהליכים או לפתור בעיות מילוליות מגוונות, הציון פה לא ישקף את זה, כי חסרים שלבי הפתרון וההסברים המתמטיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC0 1.0 שמוותר על זכויות היוצרים ומעביר את החומר לנחלת הכלל. מותר להריץ עליו מבחנים, לשלב אותו בצנרת פיתוח מסחרית ולהשתמש בתוצאות ללא הגבלות.
כמה שוקל המאגר ואיך מקבלים גישה?
המאגר פתוח לכולם ואינו דורש אישור. הוא מכיל קובץ בדיקה יחיד בפורמט Parquet עם מאה שאלות בלבד, כך שהמשקל שלו זניח וההורדה מתבצעת מיד.
האם יש במאגר תוכן בעברית?
לא, כל מאה הבעיות כתובות באנגלית בלבד וכוללות ביטויים בפורמט LaTeX. אין בו נתונים בשפות נוספות.
במה הוא שונה מדאטהסטים אחרים של AIME?
הבעיות שוכתבו ידנית כדי שלא יימצאו בטקסטים שעליהם אימנו את המודלים ברשת. בנוסף, השאלות הותאמו כך שפתרונן מחייב פתרון מלא המוביל למספר שלם, מה שמונע ניחוש מוצלח של הוכחות.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה load_dataset עם המזהה ByteDance-Seed/BeyondAIME, בלי צורך בבקשת גישה מיוחדת או מפתחות. הכל יושב בקובץ test.parquet יחיד מתוך שלושה קבצים במאגר, כך שמדובר בנפח זעיר שיורד תוך שניות.
השדות שמעניינים אתכם בקוד הם problem לקריאת נוסח השאלה, ו־answer לבדיקת המספר השלם שהמודל פלט. בגלל שהפורמט נקי, אפשר לחלץ את התשובות ולערוך השוואה אוטומטית מול הפלטים בלי לכתוב לוגיקת ניקוי מסובכת.
from datasets import load_dataset
ds = load_dataset("ByteDance-Seed/BeyondAIME")הרישיון
המאגר שוחרר תחת רישיון CC0 1.0 Universal, כלומר נחלת הכלל. אתם יכולים להעתיק, לשנות, להפיץ ולהשתמש בו לכל מטרה, כולל שימוש מסחרי, בלי לבקש אישור ובלי חובת ייחוס. שימוש בנתונים או הערכה של מודל לפיהם אינם מטילים מגבלות רישוי על הפיתוחים שלכם.