aimo-validation-amc
קוד פתוחAI-MOapache-2.02024-07-09
המאגר מרכז שאלות מתמטיקה מתחרויות עדכניות שהותאמו לתשובה מספרית סופית. הוא מתאים למי שרוצה לבדוק יכולות פתרון בעיות בלי לחשוף את המודל לתשובות שדלפו מראש.
- 12,846הורדות בחודש
- 19לייקים
מה זה
הנתונים כוללים שמונים ושלוש רשומות שמקורן במבחני AMC12 מהשנים 2022 ועד 2023. הנתונים נלקחו ישירות מעמודי הוויקי של Art of Problem Solving, במטרה לבנות קבוצת אימות עבור תחרות AIMO. הבחירה במבחנים שאחרי שנת 2021 נעשתה בכוונה כדי למנוע זליגת נתונים מקבוצת האימון המוכרת של MATH.
במקור, השאלות בבחינות האלה מופיעות במבנה של בחירה מרובה עם אפשרויות אמריקאיות. לצורך המאגר, הטקסטים שונו כדי שהתשובה הסופית תהיה מספר שלם בלבד, ממש כפי שנדרש בתחרות. שאלות שלא ניתן היה להתאים בצורה כזו נזרקו החוצה ולא נכללו. כל שורה מכילה את ניסוח השאלה המעודכן, התשובה כמספר שלם, ואת הקישור למקור.
מתאים ל
- אימות מודלים במתמטיקה
בדיקת יכולת המודל לפתור שאלות מתמטיקה של תיכון ברמת תחרות, ללא חשש מחשיפה לפתרונות שקדמו לשנת 2022.
- הערכת פלט של מספרים שלמים
מבחן ביצועים למודלים שנדרשים להחזיר תשובה מספרית מדויקת בסוף הפתרון, במקום בחירה מתוך רשימה סגורה.
- בנצ'מרק לתחרויות חשיבה
כלי בדיקה מקומי שמדמה את הדרישות והניסוחים הייחודיים של אתגר AIMO על בסיס שאלות אמיתיות.
איפה זה נופל
החיסרון הברור ביותר הוא הגודל, מדובר בסך הכל בשמונים ושלוש שאלות, כמות שמספיקה לבדיקת כיוון אבל לא למבחן סטטיסטי מקיף. כל השאלות כתובות באנגלית ובנויות לפי מבנה הבחינות האמריקאי, כך שאין כאן שום ייצוג לשפה העברית. בנוסף, העובדה שהשאלות שונו כדי לייצר פלט של מספר שלם יוצרת הטיה מכוונת. שאלות מתמטיות שלא התאימו למבנה הזה נפסלו, ולכן המאגר מייצג רק סוג מסוים של פתרונות ולא את מלוא המבחן המקורי.
שאלות
נפוצות
האם המאגר הזה זמין לשימוש מסחרי?
הרישיון המוגדר במאגר הוא apache-2.0, והוא מתיר שימוש מסחרי, שינוי והפצה של הנתונים. אתם יכולים לבחון באמצעותו מודלים פנימיים בחברה או מוצרים מסחריים. החובה העיקרית היא לכלול עותק של הרישיון ולתת קרדיט ליוצרים.
כמה שוקל הדאטהסט והאם קשה להריץ אותו?
המאגר קל מאוד וכולל שלושה קבצים בלבד, כאשר קובץ הנתונים עצמו שמור בפורמט פרקט יחיד. הוא מכיל שמונים ושלוש רשומות, כך שההורדה לוקחת שניות בודדות. לא צריך תשתית כבדה כדי לטעון אותו, ואפשר לעבוד איתו בכל סביבת פיתוח בסיסית.
האם יש במאגר שאלות בעברית?
לא, כל השאלות נאספו מאתר Art of Problem Solving והן כתובות באנגלית בלבד. אם אתם מחפשים להעריך מודלים בעברית, תצטרכו לתרגם את השאלות בעצמכם או לחפש מקור אחר. אין במאגר שום תמיכה בשפות שאינן אנגלית.
איך נאספו השאלות ומדוע שינו את הניסוח שלהן?
השאלות נלקחו ישירות מעמודי התחרויות של AMC12 מהשנים 2022 ו־2023. במקור אלו שאלות אמריקאיות, אך מחברי המאגר שינו את הניסוח כדי לכפות תשובה שהיא מספר שלם. שאלות שלא ניתן היה לשנות בצורה הזו נמחקו מהמאגר.
איך טוענים
המאגר פתוח לחלוטין ואין צורך בהרשאות גישה כדי להוריד אותו. הנתונים שמורים בקובץ פרקט יחיד, כך שהטעינה שלו לסביבת העבודה מהירה מאוד ולא דורשת משאבי זיכרון חריגים.
בעבודה מול הרשומות תפגשו שלושה שדות: השדה problem שמחזיק את ניסוח השאלה עם העיבוד למספר שלם, השדה answer שמכיל את התוצאה המספרית, והשדה url שמפנה לדף השאלה המקורי ברשת. אם אתם מעריכים מודל, חשוב לבדוק את התשובה מול הערך המספרי בשדה התשובה ולא להסתמך על פורמט אמריקאי.
from datasets import load_dataset
ds = load_dataset("AI-MO/aimo-validation-amc")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, מחקרי ושינוי של הנתונים ללא תשלום, כל עוד מקפידים על מתן קרדיט ושמירה על תנאי הרישיון. אימון מודל על הנתונים או הערכה באמצעותו אינם מחייבים אתכם לחשוף את קוד המקור של הפיתוח שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים