MMK12
קוד פתוחFanqingMרישיון לא דווח2025-04-15
מאגר שאלות ותשובות מולטימודלי להסקה מתמטית ומדעית, שנאסף ידנית ממקורות אמיתיים ולא יוצר על ידי מודלים. הוא מיועד למי שמאמן מודלי ראייה שפה ורוצה נתוני אמת אמינים ברמת בית ספר.
- 1,150הורדות בחודש
- 26לייקים
מה זה
הרשומות במאגר כוללות בעיות רב תחומיות במתמטיקה, פיזיקה, כימיה וביולוגיה. בניגוד למאגרים מתחרים שמסתמכים על תמונות סינתטיות או תשובות שנוצרו על ידי מודלים כמו GPT-4o, כאן התמונות, השאלות ותהליכי הפתרון נאספו באופן ידני ממקורות אמיתיים בעולם. סוג השאלות מוגדר כמילוי חסר או תשובה פתוחה, והתשובות עברו אימות כדי לוודא דיוק.
המבנה של כל רשומה כולל מזהה ייחודי, תחום מדעי, נתיב לתמונה, שאלת קלט ותשובה מאומתת. המאגר משמש כבנצ'מרק להערכה וגם כבסיס לאימון למידת חיזוק של מודלים מולטימודליים, כפי שהודגם בפיתוח מודלי MM-EUREKA.
מתאים ל
- אימון למידת חיזוק
שימוש בתשובות המאומתות לצורך אימון מודלי ראייה שפה בהסקה מדעית.
- בנצ'מרק מדעי מולטימודלי
בדיקת יכולות פתרון בעיות עם תמונות במתמטיקה, פיזיקה, כימיה וביולוגיה.
- אימות הסקה ללא דאטה סינתטי
הערכת עמידות של מודלים מול שאלות מציאותיות שנאספו ידנית ולא ממנועים ממוחשבים.
איפה זה נופל
הכרטיס לא מפרט את השפות שבהן כתובות השאלות, אך סביר להניח שמדובר באנגלית בלבד וללא עברית. תמונות מורכבות שמסתמכות על תרשימים וטבלאות עלולות לדרוש מודל עם רזולוציה גבוהה. בנוסף, המאגר ממוקד ברמת בית ספר ומדעים מדויקים, ולכן אינו מתאים למי שמחפש הסקה מולטימודלית כללית או שאלות רב ברירה פשוטות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון לא דווח בעמוד המאגר הראשי ולכן אין היתר שימוש מסחרי מפורש. קיים קובץ LICENSE במאגר עצמו, ומומלץ לבדוק את תוכנו ישירות לפני שמתחילים לאמן מודלים לשימוש שאינו מחקרי.
האם השאלות והתמונות כוללות תוכן בעברית?
החומר שפורסם לא מציין תמיכה בעברית, והמאגר מתמקד במחקר בינלאומי. מודלים שצריכים לפתור בעיות מדעיות בעברית יצטרכו תרגום או התאמה נוספת.
מה מייחד את הדאטהסט הזה בהשוואה למאגרים דומים?
הנתונים נאספו ידנית מהעולם האמיתי ולא נוצרו על ידי מנועים סינתטיים או מודלי שפה גדולים. גם שרשרת ההסקה והתשובות הסופיות אומתו ונלקחו ממקורות מציאותיים כדי למנוע הזיות מובנות במידע.
איך טוענים
הנתונים מחולקים לקובצי Parquet סטנדרטיים, עם שלושה קבצים לאימון וקובץ אחד למבחן, לצד קובץ README וקובץ רישיון. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. השדות המרכזיים שצריך לעבד הם subject לחלוקה לפי תחומים, image שמחזיק את הנתיב לתמונה, וזוג השדות question ו־answer שמכילים את הטקסטים והתשובה המאומתת.
from datasets import load_dataset
ds = load_dataset("FanqingM/MMK12")הרישיון
המפתח לא דיווח על רישיון רשמי במטא-דאטה של הדאטהסט, אף על פי שקובץ LICENSE מופיע ברשימת הקבצים במאגר. במצב כזה לא ברור מה מותר לעשות עם הנתונים מבחינה משפטית, ושימוש מסחרי או אימון מודל סגור למוצר מסחרי כרוכים בסיכון עד לבדיקת הקובץ עצמו או פנייה ליוצרים.