Arithmo-Data

מה זה

המאגר הזה מורכב משילוב של שלושה מקורות מוכרים: MetaMathQA, MathInstruct והחלק של out-of-distribution מתוך lila של מכון אלן. הקבצים שמפורסמים כאן מחלקים את החומר ישירות לאימון ולבדיקה דרך קובצי JSON ייעודיים. שמות הקבצים מסגירים בדיוק את התכולה שלהם, כאשר יש קובץ train וקובץ test שמאחדים את המקורות הללו יחד.

מעבר להצהרה הזו, כרטיס הדאטהסט לא מפרט כלום לגבי שלבי הניקוי, הסינון או ההסרה של כפילויות. היוצר מפנה ישירות לעמוד הגיטהאב של המודל Arithmo-Mistral-7B כדי לקרוא עוד על אופן הכנת הנתונים, מה שאומר שבכרטיס עצמו אין הסבר על מבנה השדות הפנימי או המשקל שניתן לכל מקור.

מתאים ל

• אימון מודלים על שאלות מתמטיות

  כוונון של מודלי שפה על הנמקה חישובית מבוססת שלבי פתרון באנגלית.

• בדיקת יכולות הנמקה

  הרצת בדיקות על קובץ המבחן כדי לבחון הצלחה בפתרון בעיות מתמטיקה.

• איחוד דאטהסטים לניסויים

  שימוש בקבצים המוכנים כבסיס לחסכון בזמן איסוף מ־MetaMathQA ו־MathInstruct.

איפה זה נופל

הכרטיס לא מספק מידע על הטיות, סינון שגיאות מתמטיות או מניעת זליגה של מבחנים מוכרים. הכל באנגלית בלבד ואין כאן עברית כלל. בגלל שמדובר בחיבור של שלושה מאגרים שונים שנוצרו במקור על ידי צוותים אחרים, אי אפשר לדעת מתוך המאגר הזה בלבד אם יש כפילויות בין קובץ האימון לקובץ הבדיקה. צריך לבדוק ידנית את איכות הפתרונות לפני שמשלבים אותם בריצה יקרה.

איך טוענים

טוענים את הקבצים ישירות מספריית datasets באמצעות ציון המזהה akjindal53244/Arithmo-Data, או שמורידים ישירות את קובצי ה־JSON מהמאגר. אין פה דרישה לאישור גישה מראש או מילוי טפסים, המאגר פתוח לחלוטין. לפני שרצים לאמן, פתחו את קובץ ה־JSON כדי לראות את שמות המפתחות המדויקים של השאלה והפתרון, כי התיעוד לא מציין אותם.

from datasets import load_dataset

ds = load_dataset("akjindal53244/Arithmo-Data")

הרישיון

הרישיון המדווח במאגר הוא apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ומאפשר לאמן מודלים בלי חובת שיתוף של התוצר תחת אותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, כדאי לוודא ששלושת המאגרים שמהם הוא הורכב לא כוללים תנאים מגבילים משלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗