ChartMimic

מה זה

המאגר בנוי משלשות של תמונת תרשים, הוראת טקסט וקוד פייתון שמרנדר את התרשים. הנתונים נאספו ממאמרים מדעיים אמיתיים בתחומים כמו פיזיקה, מדעי המחשב וכלכלה, ועברו אוצרות אנושית. המטרה היא להעמיד מול המודל תרשימים עמוסי מידע ולבדוק אם הוא מסוגל לשחזר אותם במדויק באמצעות קוד.

הטבלה מחלקת את החומר ל־18 סוגי תרשימים רגילים כמו עמודות, קווים, מפות חום ועוגות, לצד 4 סוגים מתקדמים שכוללים שילובים, תמונות בתוך תמונות ותרשימי הבדלים מורכבים. בסך הכל יש כאן 201 תת-קטגוריות שונות. הטבלה מציגה פירוט של 2,400 רשומות עם אורך קוד ממוצע של 696 טוקנים לפי הטוקנייזר של Llama 3, לצד נתונים על סטיית התקן של אורך הקוד בכל סוג גרף.

המשימות מחולקות לשני סוגים עיקריים שמוגדרים בשדות. הסוג הראשון הוא חיקוי ישיר שבו הקלט והיעד זהים לחלוטין, והסוג השני הוא חיקוי מותאם אישית שבו ההוראה דורשת שינויים מסוימים ביחס לתרשים המקורי שהוצג.

מתאים ל

• בנצ'מרק למודלי ראייה-שפה

  בדיקת הדיוק של מודלים רב-מודאליים בהמרת תמונות גרפים מורכבות לקוד פייתון תקף.

• אימון מחוללי ויזואליזציה

  כוונון עדין של מודלי קוד ליצירת גרפים מורכבים מתוך תיאור טקסטואלי ותמונת מקור.

• הערכת שחזור ויזואלי

  מדידת היכולת של מודל לבצע שינויים מוגדרים בתרשים קיים על פי הוראות טקסט.

איפה זה נופל

כל הטקסט וההוראות במאגר הם באנגלית בלבד, ואין בו שום ייצוג לתרשימים בעברית או עם כיווניות מימין לשמאל. אם המערכת שלכם צריכה לייצר גרפים עם תוויות בעברית, המאגר הזה לא ייתן לכם שום אינדיקציה לגבי הביצועים שם.

בנוסף, הנתונים מגיעים אך ורק מפרסומים אקדמיים. הם לא מייצגים דשבורדים עסקיים, תרשימים פיננסיים של מערכות BI או ממשקי משתמש מודרניים. קוד המקור כאן מבוסס פייתון, כך שהוא לא יעזור אם אתם מחפשים להעריך יצירת גרפים ב־JavaScript או בספריות ווב אחרות.

איך טוענים

הורדת הנתונים לא דורשת אישור גישה מיוחד. מורידים ישירות את הקובץ הדחוס dataset-iclr.tar.gz מכתובת המאגר ופותחים אותו מקומית, או שעובדים דרך קובצי ה־parquet שבתיקיית התצוגה המקדימה. הכלי נתמך גם דרך ספריית VLMEvalKit לצורך הרצה והערכה.

כל רשומה מכילה את סוג המשימה, מזהה דוגמה שמורכב מסוג התרשים ומספרו, הוראת טקסט, נתיב לתמונת הקלט, נתיב לקוד הקלט, וכן נתיבים לתמונת היעד ולקוד פייתון של תמונת היעד.

from datasets import load_dataset

ds = load_dataset("ChartMimic/ChartMimic")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי ומחקר חופשי, ומאפשר לשנות את הקוד והנתונים או לשלב אותם בפרויקטים סגורים. התנאי המרכזי הוא מתן ייחוס מתאים ושמירה על הודעות זכויות היוצרים המקוריות. אין חובת שיתוף באותו רישיון, כך שאימון מודל על הנתונים אינו מחייב אתכם לפתוח את המודל לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗