MATH-Hard
קוד פתוחlightevalmit2024-06-12
המאגר מרכז בעיות מתמטיות קשות במיוחד מתחרויות, שנועדו לבחון יכולת הסקה רב שלבית אמיתית. הוא מיועד למי שרוצה לאתגר מודל שאלות קצה בלי לבזבז זמן על בעיות פשוטות.
- 5,458הורדות בחודש
- 24לייקים
מה זה
הרשומות מבוססות על שאלות מתחרויות מתמטיקה כמו AMC 10, AMC 12 ו־AIME. כל רשומה כוללת את נוסח השאלה, פתרון מלא שמסביר את שלבי ההסקה, סיווג לפי נושא והגדרה של רמת הקושי. הפתרונות עצמם נכתבו בשילוב של שפה טבעית וקוד LaTeX, כאשר התשובה הסופית מופיעה תמיד בתוך תגית ייעודית כדי להקל על חילוץ התוצאה ובדיקה אוטומטית.
המאגר הספציפי הזה הוא סינון של מאגר MATH המקורי. נשמרו בו אך ורק בעיות שסווגו כרמה 5, הרמה הגבוהה ביותר במאגר המקורי. התוכן מחולק לפי תחומי מתמטיקה מוגדרים, ביניהם אלגברה, גאומטריה, הסתברות וקומבינטוריקה, תורת המספרים, אלגברה תיכונית, טרום אלגברה וחשבון אינפיניטסימלי בסיסי.
מתאים ל
- הערכת מודלים במתמטיקה
בדיקת ביצועים של מודלי שפה על שאלות תחרותיות ברמת קושי עליונה כדי לבחון יכולת הסקה לוגית.
- אימון שרשראות חשיבה
לימוד מודלים לפרט צעד אחר צעד פתרונות מורכבים בעזרת ההסברים המלאים שמצורפים לכל שאלה.
- מבחן ביצועים לפי תחומים
השוואת הצלחה בין ענפי מתמטיקה שונים, כמו גאומטריה לעומת תורת המספרים, על בסיס החלוקה לקבצים.
איפה זה נופל
הנתונים כולם באנגלית ובנויים סביב תחרויות מתמטיקה אמריקאיות, כך שאין כאן שום ייצוג לעברית או לניסוחים מקומיים. המאגר מכיל רק בעיות ברמה 5, ולכן הוא לא מתאים להערכה של יכולות מתמטיות כלליות או יומיומיות, אלא רק למקרי קצה תחרותיים. בנוסף, כל החישובים והנוסחאות דורשים התמודדות עם תחביר LaTeX, מה שמחייב את המודל לדעת לקרוא ולפלוט נוסחאות בלי לשבור את המבנה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא MIT. הוא מאפשר להשתמש בנתונים לצרכים מסחריים, לאמן עליהם מודלים ולשלב אותם במערכות פנימיות, בלי דרישה לפתוח את הקוד שלכם. כל מה שנדרש זה לשמור על תנאי הרישיון והייחוס המקוריים.
האם יש במאגר שאלות בעברית?
לא, כל הבעיות והפתרונות מופיעים באנגלית בלבד. אם המטרה היא לבדוק מודל בעברית, תצטרכו לתרגם את השאלות בעצמכם, תוך שמירה זהירה על נוסחאות ה־LaTeX.
מה ההבדל בין המאגר הזה למאגר MATH המקורי?
המאגר המקורי כלל שאלות בכל רמות הקושי, מרמה 1 עד רמה 5. בגרסה הזו השאירו אך ורק את רמה 5, שהיא הרמה הקשה ביותר, כדי לבודד את המקרים המאתגרים באמת.
איך נאספו השאלות והפתרונות?
החומרים נלקחו ישירות מתחרויות מתמטיקה מוכרות כמו AMC 10, AMC 12 ו־AIME. לכל שאלה הוצמד פתרון מלא ומפורט שכולל שלבי הסבר ותשובה סופית מסומנת.
איך טוענים
טוענים את הנתונים ישירות מקבצי jsonl לפי הנושא שמעניין אתכם, או מושכים את כולם יחד לחלוקת המבחן. המאגר פתוח לגמרי, בלי צורך באישור גישה מראש או מפתח מיוחד, והוא כולל 17 קבצים בסך הכל. בזמן העיבוד, שימו לב בעיקר לשדות של השאלה והפתרון, והכינו מראש מנגנון שיודע לפרסר את התשובה הסופית שמוחבאת בתוך תגית ה־LaTeX של הפתרון.
from datasets import load_dataset
ds = load_dataset("lighteval/MATH-Hard")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לגמרי, כולל שימוש מסחרי, מחקר, שינוי הנתונים ואימון מודלים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן דרישה לפתוח את הקוד שלכם או לשתף מודלים תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש