gretel-math-gsm8k-v1
קוד פתוחgretelaillama3.12024-09-11
שאלות חשיבה מתמטית מילוליות שנוצרו כולן באופן סינתטי עם למה 405B, כולל תגיות חשיבה ובדיקה עצמית לכל שלב בפתרון. הוא מתאים למי שרוצה לאמן מודלים להסביר את החישוב שלהם במקום רק לפלוט מספר.
- 726הורדות בחודש
- 38לייקים
מה זה
כל רשומה מייצגת בעיה מתמטית ברמת בית ספר, אבל עם טווח קושי רחב יותר מהמקור של GSM8K. הנתונים מחולקים לארבע רמות קושי, מקל ועד קשה מאוד, ומכסים נושאים כמו אחוזים, אלגברה, אופטימיזציה, פולינומים והסתברות. השדות כוללים את השאלה, התשובה הסופית, תיאור הקושי, קבוצת הגיל, וחשוב מכל, שדה פתרון מפורט שמכיל תגי חשיבה, רפלקציה ותוצאה סופית.
המאגר נוצר באמצעות Gretel Navigator כשהמודל המייצר הוא Llama-3.1-405B. הסינון נעשה בשני שלבים, הראשון הוא אימות החישובים מול ספריית הסימבוליקה sympy בפייתון, והשני הוא בדיקת עקביות ואיכות באמצעות שיפוט של מודל שפה. המאגר מחולק לקובץ אימון וקובץ בדיקה שמכיל בדיוק 1,300 דוגמאות מרובדות לפי קושי ותחום.
מתאים ל
- אימון שרשרת מחשבה
לימוד מודלים לפרק בעיות חישוביות לשלבים בעזרת תגיות חשיבה ורפלקציה.
- הערכת יכולת פתרון בעיות
הרצת סט המבחן בן 1,300 הדוגמאות לבדיקת דיוק באלגברה ואחוזים.
- אימון מודלים קטנים
זיקוק יכולות ההסקה של למה 405B לתוך מודלים מקומיים קלים.
איפה זה נופל
כל הדוגמאות נוצרו על ידי מודל שפה ולא נכתבו בידי בני אדם. למרות הבדיקה בעזרת sympy ושיפוט של מודל שפה, נתונים סינתטיים נוטים להכיל כשלים לוגיים סמויים שהבודק האוטומטי מפספס. כל הנתונים באנגלית בלבד, ואין כאן אף מילה בעברית. בנוסף, חלוקת הנושאים והגילאים מבוססת על תגיות שהמודל יצר, כך שרמת הקושי שמוגדרת כקשה מאוד עשויה שלא לתאום הגדרות פדגוגיות אמיתיות.
שאלות
נפוצות
האם המאגר זמין בעברית?
לא. כל השאלות, ההקשרים ופתרונות החשיבה מנוסחים באנגלית בלבד. אם המטרה שלכם היא מודל שמחשב ומנמק בעברית, תצטרכו לתרגם את השדות או להשתמש במאגר מקביל.
האם הנתונים נבדקו על ידי מתמטיקאים?
לא, אין כאן בדיקה אנושית ידנית של כל תרגיל. התוכן נוצר על ידי למה 405B, והאימות נעשה בעזרת בדיקת חישובים בספריית sympy וסינון של מודל שפה ששימש כשופט.
מה הרישיון אומר לגבי שימוש מסחרי במוצר?
הרישיון הוא רישיון Llama 3.1. הוא מאפשר פעילות מסחרית ברוב המקרים, אך כפוף למגבלות השימוש המקובלות של מטא ולמגבלת 700 מיליון משתמשים חודשיים פעילים.
איך המאגר הזה שונה מ־GSM8K המקורי?
בניגוד למקור שנכתב בידי אנשים, כאן הכל סינתטי ומבוסס על שאלות ברמות קושי שונות שמגיעות עד רמת קושי גבוהה יותר. בנוסף, כל תשובה כוללת תגיות רפלקציה וחשיבה פנימית ולא רק פתרון ישיר.
איך טוענים
טוענים את הנתונים דרך ספריית datasets ישירות מהמאגר של gretelai. הקבצים שמורים בפורמט Parquet, אחד לאימון ואחד לבדיקה, ללא צורך באישור גישה ידני או מילוי טפסים. השדה המרכזי שתרצו לעבוד איתו הוא answer_with_tags, שמכיל את תגיות החשיבה והרפלקציה יחד עם הפתרון. אם אתם מכוונים רק לתשובות סופיות וקצרות, השדה answer מספק אותן ישירות.
from datasets import load_dataset
ds = load_dataset("gretelai/gretel-math-gsm8k-v1")הרישיון
המאגר מופץ תחת רישיון Llama 3.1 של מטא. הרישיון מאפשר שימוש מסחרי ומחקר, אך מחייב עמידה בתנאי המדיניות של מטא, כולל הגבלת משתמשים חודשיים למערכות ענק וציון ייחוס מתאים. אם אתם מאמנים מודל אחר על הנתונים האלה, חלים עליכם תנאי הרישיון של משפחת מודלי למה 3.1.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס