MM-MathInstruct
קוד פתוחMathLLMsapache-2.02025-05-19
מאגר ענק של כמעט שלושה מיליון דוגמאות מולטימודליות לפתרון בעיות מתמטיקה. הוא משלב תמונות, שאלות ופתרונות מפורטים שנועדו לאימון מודלים להסקה חזותית וחישובית.
- 1,424הורדות בחודש
- 19לייקים
מה זה
המאגר כולל 2,871,988 רשומות ומיועד לפתרון בעיות מתמטיות הדורשות הבנה של טקסט ותמונה יחד. כל רשומה מחזיקה מזהה ייחודי, קובץ תמונה בבתים, שאלת המקור, פתרון מלא ומסלול מקור לתמונה. הנתונים מתאימים למשימות של מענה על שאלות, בחירה מרובה, ויצירת טקסט.
הדאטהסט נבנה סביב פרויקט MathCoder-VL במטרה לגשר בין ראייה ממוחשבת, קוד והסקה מתמטית. לפי הכרטיס, הנתונים שימשו לבניית מודלים כמו FigCodifier שממירים תמונות לקוד, ולאימון מודלי שפה ויזואליים. כל הרשומות מרוכזות בחלוקת אימון אחת ללא חלוקה מובנית למבחן או אימות, והן שמורות בעשרה קובצי Parquet שונים.
מתאים ל
- אימון מודלי VLM למתמטיקה
לימוד מודלים מולטימודליים לנתח שרטוטים, גרפים ותרשימים גאומטריים ולפתור אותם.
- המרת תרשימים לקוד
פיתוח כלים שמפענחים תמונות מתמטיות ומתרגמים אותן לקוד פייתון או שפת תכנות.
- בניית מערכות פתרון צעד-אחר-צעד
אימון מודלים שמייצרים הסבר מתמטי מלא ומפורט ולא רק תשובה סופית.
איפה זה נופל
המאגר מוגדר כולו באנגלית, ולכן מודל שיאומן עליו בלבד לא ידע להתמודד עם שאלות גאומטריה או גרפים בעברית. בנוסף, כל 2,871,988 הדוגמאות מרוכזות בחלוקת אימון אחת בלבד, ואין חלוקה מוגדרת מראש למבחן או ולידציה. תצטרכו להפריד נתונים לבד ולהיזהר מדליפת מידע בין הסטים. כרטיס הדאטהסט לא מפרט באילו שיטות סוננו הפתרונות או כיצד נופו שגיאות חישוב בתוך הפתרונות שנוצרו.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, המאגר פורסם ברישיון Apache 2.0 המאפשר שימוש מסחרי מלא. עליכם לכלול את הייחוס למחברים ואת תנאי הרישיון המקוריים בתוצר שלכם.
האם יש בדאטהסט תמיכה בעברית?
לא, המאגר מסומן וכולל שאלות ופתרונות באנגלית בלבד. אם המוצר שלכם מיועד לתלמידים בישראל, תצטרכו לתרגם את השאלות או לאמן שכבת התאמה לשפה.
איך מחולק הדאטהסט בין אימון למבחן?
אין חלוקה מוכנה, כל 2,871,988 הרשומות נמצאות בפיצול train. כדי לבצע הערכה אמינה תצטרכו להפריד בעצמכם חלק מהרשומות לפני שלב האימון.
מה המבנה של כל רשומה במאגר?
כל שורה כוללת מזהה, שאלת טקסט, פתרון מפורט, נתיב מקור ותמונת בתים. כדי להשתמש בתמונה יש להמיר אותה באמצעות מפענח תמונות סטנדרטי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הקריאה ל־MathLLMs/MM-MathInstruct. אין צורך באישור גישה מיוחד, המאגר פתוח לחלוטין להורדה. הנתונים מחולקים לעשרה קבצי Parquet שמכילים כמעט שלושה מיליון שורות, כך שצריך לקחת בחשבון נפח אחסון משמעותי וזמן הורדה לא מבוטל.
השדות העיקריים הם question, solution והתמונה עצמה שנשמרת בשדה image. התמונה נשמרת בפורמט בתים גולמי, ולכן כדי לצפות בה או להזין אותה למודל צריך לקרוא אותה דרך BytesIO וספריית PIL לפני שמתחילים בעיבוד המקדים.
from datasets import load_dataset
ds = load_dataset("MathLLMs/MM-MathInstruct")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון מאפשר שימוש מסחרי, שינוי, הפצה ואימון של מודלים ללא דרישה לשתף את הקוד שלכם באותו רישיון. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והייחוס המקורי ליוצרים בכל הפצה של הנתונים או חלקים מהם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים