ChartQAPro
קוד פתוחahmed-masrymit2025-04-18
הבנצ'מרק הזה מיועד למדידת יכולות הסקה חזותית של מודלים מול גרפים ותרשימים מורכבים. הוא נבנה כדי לאתגר מודלי ראייה ושפה חזקים שכבר הגיעו לתקרה במבחנים ישנים יותר.
- 2,155הורדות בחודש
- 21לייקים
מה זה
המאגר כולל 1,341 תרשימים שנאספו מ־157 מקורות שונים, לצד 1,948 שאלות שנועדו לבחון הבנה עמוקה של הנתונים המוצגים. במקום להסתפק בגרפי עמודות או עוגה בסיסיים, המקורות מכסים סוגי ויזואליזציה רחבים כולל אינפוגרפיקות ולוחות מחוונים מרובי נתונים.
השאלות מחולקות למספר סוגים כדי לשקף תרחישי שימוש מציאותיים: שאלות רב ברירה, שאלות שיחה, שאלות היפותטיות שדורשות חיזוי, ושאלות שאינן ניתנות למענה על בסיס הגרף בלבד כדי לבדוק עמידות להזיות. המאגר נבנה כסט בדיקה ולא כסט אימון, והקובץ העיקרי המוצג בו הוא סט מבחן יחיד.
מתאים ל
- בנצ'מרק למודלי ראייה
מדידת יכולת ההסקה של מודלי ראייה ושפה מול אינפוגרפיקות ותרשימים.
- בדיקת חסינות להזיות
בחינת יכולת המודל לזהות שאלות שאין להן תשובה בנתונים המוצגים.
- הערכת תרחישי שיחה
בדיקת ביצועים ברצף שאלות היפותטיות ושיחתיות סביב לוחות מחוונים.
איפה זה נופל
זהו סט מבחן קטן יחסית שנועד להערכה ולא לאימון מודלים מאפס. אין בו אזכור לתמיכה בשפות שאינן אנגלית או לתרשימים שנאספו ממקורות מקומיים בעברית. בנוסף, מודלים חזקים מאוד כמו קלוד סונט 3.5 צונחים בו לדיוק של 55.81%, כך שמומלץ לבדוק היטב שגיאות של אי זיהוי נתונים לפני שמסתמכים על המדדים למוצר ייצורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, המאגר מוגדר תחת רישיון mit שאינו מגביל שימוש מסחרי. עם זאת, יש לכלול את הצהרת הרישיון והקרדיט המקורי.
האם המאגר כולל תרשימים בעברית?
התיעוד אינו מציין תמיכה בעברית והתרשימים והשאלות מבוססים על אנגלית בלבד. אם המוצר שלכם פונה לשוק המקומי, תצטרכו לאסוף דוגמאות בנפרד.
מה ההבדל בין המאגר הזה לבין ChartQA הישן?
המאגר החדש כולל מקורות מגוונים יותר כמו דשבורדים ואינפוגרפיקות, וסוגי שאלות מורכבים יותר כולל שאלות ללא מענה. מודלים שהגיעו לרוויה בסט הישן מציגים כאן ירידה משמעותית בביצועים.
האם המאגר מתאים לאימון מודל חדש?
המאגר מכיל 1,948 שאלות בקובץ מבחן יחיד ואינו כולל סט אימון ייעודי. הוא נבנה ככלי בדיקה והערכה ולא כמקור דאטה לאימון ראשוני של מודלים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטים של הגינג פייס מקובץ הפרקט היחיד data/test-00000-of-00001.parquet. אין צורך בהרשאות גישה או באישור מיוחד, וההורדה מיידית. הקובץ מכיל את התמונות ואת השאלות הנלוות, אך קוד ההערכה המלא וההנחיות להרצת מודלים מנוהלים בריפו הגיטהאב הייעודי של הפרויקט.
from datasets import load_dataset
ds = load_dataset("ahmed-masry/ChartQAPro")הרישיון
המאגר פורסם ברישיון mit פתוח. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף תחת אותו רישיון, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הדבר מאפשר שימוש חופשי בנתונים לבדיקת מודלים פנימיים או מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש