Omni-MATH

מה זה

המאגר כולל 4,428 שאלות מתמטיות ברמת תחרויות בינלאומיות, ללא תחומים אחרים כמו פיזיקה או מדעי המחשב. כל בעיה מתוייגת לפי תחום ספציפי מתוך 33 תתי תחומים שונים, ומדורגת על פני סולם של עשר רמות קושי. המטרה של המבנה הזה היא לאפשר חיתוך מדויק של ביצועי המודל לפי נושא ועומק החשיבה הנדרש.

הקובץ המרכזי מוגדר כסט בדיקה ומגיע בפורמט JSONL. הנתונים מתמקדים אך ורק בבעיות אולימפיאדה מתמטיות מתקדמות, שנאספו במטרה להחליף מבחנים קיימים כמו GSM8K או MATH, שמודלים מודרניים כבר פותרים כמעט במלואם.

מתאים ל

• הערכת מודלי חשיבה

  בדיקת יכולות הסקת מסקנות ופתרון בעיות קיצון במודלים מתקדמים.

• ניתוח חולשות לפי תחום

  השוואת ביצועים על פני 33 תתי תחומים שונים במתמטיקה מתקדמת.

• ולידציה סופית לפיתוח

  מבחן ביצועים מסכם שמוודא שהמודל לא נעצר בתקרת הזיהוי של סטים ישנים.

איפה זה נופל

המאגר כולו באנגלית בלבד ואין בו שום תמיכה בעברית. בנוסף, מדובר בסט בדיקה של 4,428 שאלות בלבד, כך שהוא לא מתאים לאימון מודלים מאפס אלא רק להערכה או לפיין טיונינג ממוקד מאוד. אם המוצר שלכם פותר בעיות חשבון פשוטות או מתמטיקה יומיומית, אין טעם לבדוק אותו כאן. השאלות פה נמצאות ברף התחרותי הגבוה ביותר, והן מיועדות למודלים ייעודיים לחשיבה מתמטית עמוקה.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face עם הפקודה load_dataset("KbsdJames/Omni-MATH"). אין צורך בבקשת גישה מיוחדת או באישור ידני של היוצרים. המאגר כולל בסך הכל שלושה קבצים, כשהנתונים עצמם נמצאים בקובץ test.jsonl, ולכן תהליך ההורדה והטעינה מסתיים תוך שניות בודדות בלי לתפוס נפח משמעותי בדיסק. היוצרים מספקים גם כלי הערכה בקוד פתוח בשם Omni-Judge לצורך בדיקת התוצאות.

from datasets import load_dataset

ds = load_dataset("KbsdJames/Omni-MATH")

הרישיון

המאגר שוחרר תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ומחקרי חופשי, מאפשר שינויים והפצה מחדש, ואינו מחייב אתכם לשחרר את המוצר או המודל שלכם תחת אותו רישיון. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והייחוס המקורי של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗