ImgCode-8.6M
קוד פתוחMathLLMsapache-2.02025-07-03
המאגר כולל מיליוני דוגמאות של תרשימים ואיורים מתמטיים לצד קוד המקור שלהם. הוא נבנה במטרה לאמן מודלים מולטימודליים לתרגם תמונות גיאומטריות וגרפים לקוד בר ביצוע.
- 693הורדות בחודש
- 24לייקים
מה זה
הנתונים מחולקים לקבצי Parquet שמכילים תמונות וקוד. מדגם ידני של אחוז אחד מהרשומות מציג חלוקה מובהקת של התוכן, כמעט חצי מהתמונות עוסקות בגיאומטריה של המישור, בעיקר משולשים, מרובעים ומעגלים. שאר הדוגמאות מתפזרות על תרשימים וגרפים, גיאומטריה אנליטית, משוואות וטקסטים, תלת מימד וטבלאות.
לפי שמות הקבצים והתיעוד, החלוקה הפנימית מפרידה בין שפות ייצוג שונות כמו פייתון וטיקז. המטרה של המבנה הזה היא לאפשר אימון של מודלי שפה ותמונה כמו סדרת MathCoder-VL לייצר קוד משוחזר מתוך תרשים נתון. הכרטיס לא מפרט מהיכן נאספו התמונות המקוריות או באילו כלים בדיוק סיננו וניקו את הרשומות לפני החלוקה לחלקים.
מתאים ל
- אימון מודל תמונה לקוד
לימוד מודלים מולטימודליים להמיר שרטוטים הנדסיים ותרשימים לקוד פייתון או טיקז.
- פתרון בעיות גיאומטריה
שיפור יכולות ההסקה של מודלי שפה על ידי תרגום תרשימי משולשים ומעגלים לקוד בר חישוב.
- חילוץ נתונים מגרפים
בניית מערכות שמזהות גרפי עמודות ותרשימי קווי מגמה ומשחזרות את הפקודות שיצרו אותם.
איפה זה נופל
ההטיה הבולטת ביותר היא הריכוז הכבד בגיאומטריה בסיסית של המישור, שתופסת כמעט מחצית מהדוגמאות, בעוד שתרשימים מתקדמים כמו גרפי פיזור או קופסה כמעט ולא קיימים. השפה המוגדרת היא אנגלית בלבד, ואין שום תיעוד של טקסטים או תרשימים בעברית. בנוסף, חסר מידע מלא על מקור התמונות, כך שקשה לדעת אם הן סרוקות מספרים, נלקחו מהרשת או יוצרו באופן סינתטי לחלוטין לפני שלוקחים את זה למוצר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 והוא מתיר שימוש מסחרי מלא. צריך רק להקפיד על מתן קרדיט מתאים ליוצרים ולכלול את תנאי הרישיון המקוריים.
האם יש במאגר תמיכה בעברית?
לא, הנתונים מוגדרים תחת השפה האנגלית בלבד. כל הטקסטים והמשוואות המשולבים בתמונות מבוססים על אנגלית וסימול מתמטי בינלאומי.
איך נאספו התמונות והקוד?
הכרטיס לא חושף את מקור האיסוף המקורי של התמונות. המפתחים מציגים רק ניתוח ידני שבוצע על אחוז אחד מהרשומות כדי לבדוק את התפלגות הנושאים.
באיזה פורמט שמורים הקבצים במאגר?
המאגר כולל 42 קבצי Parquet שמחולקים לפי סוגי קוד כמו Python או TikZ. התמונות שמורות כמידע בינארי שנטען ישירות לזיכרון.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות חיבור לקבצי ה־parquet הרלוונטיים. המאגר מחולק ל־42 קבצים שונים, בהם סדרות של עשרים קבצים לחלקים כמו פייתון או טיקז. אין צורך לבקש אישור גישה מיוחד כדי להוריד. השדות המרכזיים כוללים את נתוני התמונה בפורמט בתים, שאותם ממירים לאובייקט תמונה באמצעות מודולים כמו BytesIO ו־PIL, לצד קוד המקור התואם.
from datasets import load_dataset
ds = load_dataset("MathLLMs/ImgCode-8.6M")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי כולל שימוש מסחרי, שינוי של הנתונים והפצה מחודשת. אפשר לאמן מודלים על בסיס המאגר הזה ללא חובה לשחרר את המשקלים או את הקוד שפותח תחת אותו רישיון, אך יש לשמור על תנאי הייחוס והודעות זכויות היוצרים של היוצרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים