Math-Shepherd

מה זה

כל רשומה בנויה משלושה שדות: שדה הקלט שמציג בעיה ופתרון מחולק לשלבים, שדה התיוג שמחליף את מזהה השלב בסימון חיובי או שלילי, ושדה המשימה שמציין אם מקור השאלה הוא GSM8K או MATH. המבנה מיועד באופן מובהק לאימון מעריכי תהליך.

התוויות נקבעו בצורה אוטומטית לפי הפוטנציאל של כל שלב להוביל לפתרון הנכון, כאשר פלוס מייצג צעד תקין ומינוס מייצג צעד שגוי. בקלט שולב תו ייעודי, קי, שנועד לסמן למודל בדיוק באיזה מיקום לחשב את ההפסד עבור הצעד הנוכחי.

הנתונים נשענים על שאלות מתוך GSM8K ו־MATH, אך הכרטיס אינו מפרט תהליכי סינון ידניים נוספים שנעשו על הטקסטים או על איכות התוויות האוטומטיות.

מתאים ל

• אימון מודלי PRM

  אימון רשתות לבדיקת איכות שלבי פתרון מתמטיים באמצעות חישוב שגיאה על מיקומי הטוקן הייעודי.

• ניקוד חיפוש עץ להסקה

  הערכת ענפי חשיבה שונים של מודלי שפה במהלך יצירת פתרונות לשאלות חשבון.

• סינון דאטה לאימון

  זיהוי וסינון פתרונות הכוללים צעדים שגויים מתוך מאגרי שאלות קיימים באנגלית.

איפה זה נופל

התיוג של השלבים נוצר באופן אוטומטי ולא נבדק ידנית על ידי בני אדם, כך שטעויות חישוב מורכבות עלולות לקבל תיוג שגוי. התוכן מוגבל לאנגלית בלבד ולמתמטיקה מתוך GSM8K ו־MATH, ללא שפות נוספות או בעיות מחוץ לעולמות האלה. בנוסף, קוד האימון המקורי מסוג PPO הוגדר כפנימי ולא שוחרר, מה שמקשה על שחזור מדויק של התוצאות.

איך טוענים

אתם מושכים את הנתונים ישירות בעזרת הפקודה load_dataset מספריית datasets מול הנתיב peiyi9979/Math-Shepherd, ללא צורך באישור גישה או במפתח מיוחד. הקובץ המרכזי שיושב במאגר שמור בפורמט jsonl.

לפני הרצת האימון חשוב לטפל בטוקן הייחודי קי, שכן הוא משמש עוגן לחישוב פונקציית ההפסד בשלבי החשיבה ומצריך התאמה של הטוקנייזר או שכבת הניקוד שלכם.

from datasets import load_dataset

ds = load_dataset("peiyi9979/Math-Shepherd")

הרישיון

היוצר לא הגדיר רישיון במאגר. מבחינה משפטית, היעדר רישיון משמעו שכל הזכויות שמורות ולא ניתנה רשות מפורשת לשימוש מסחרי, הפצה או אימון מודלים למוצרים מסחריים. אימון מודל על בסיס נתונים אלו חושף אתכם לחוסר ודאות משפטית.

הרישיון המלא ב־Hugging Face ↗