lmms-lab-encoder/ChartQA
קוד פתוחlmms-lab-encoderרישיון לא דווח2024-01-26
המאגר מרכז שאלות ותשובות על גבי תרשימים עבור מבחני ביצועים של מודלי ראייה ושפה. הוא נבנה כדי לבדוק יכולות הסקת מסקנות חזותיות ולוגיות ישירות מתוך גרפים.
- 17,434הורדות בחודש
- 25לייקים
מה זה
הנתונים כאן הם עיבוד מחדש של בנצ'מרק ChartQA המוכר ממאמרם של מסרי ואחרים משנת 2022. צוות lmms-lab לקח את המאגר המקורי והמיר אותו למבנה שמתאים ישירות לתשתית ההערכה שלו, כדי לחסוך עבודת הכנה ידנית בזמן בדיקת מודלים רב-מודאליים גדולים. המטרה של הסט המקורי הייתה לבחון שאלות שמצריכות גם הבנה חזותית של מבנה התרשים וגם חשיבה לוגית או חישובית על המספרים שמוצגים בו.
בפועל הדף של המאגר דל מאוד בפרטים יבשים. לא מפורט כאן איך סיננו את הדוגמאות, אילו סוגי גרפים נכללים, מה בדיוק מכיל כל טור ברשומות או כמה פריטים יש בכל קובץ. מתוך רשימת הקבצים במאגר אפשר לראות רק קובץ מבחן בודד, כך שלא ברור אם יש כאן פיצול לאימון או ולידציה או שהעלו לכאן רק את חלק הבדיקה שדרוש לכלי הריצה שלהם.
מתאים ל
- הערכת מודלים רב-מודאליים
בדיקת דיוק של מודלי ראייה ושפה במענה על שאלות מתוך תרשימים דרך lmms-eval.
- מבחן יכולת חישוב מגרפים
בדיקה אם המודל מסוגל לחלץ ערכים מתוך גרף ולבצע עליהם פעולות לוגיות.
- בנצ'מרק השוואתי למחקר
השוואת ביצועים מול תוצאות שפורסמו במאמר המקורי של ChartQA מ־2022.
איפה זה נופל
הכרטיס לא מספק מידע על מגבלות, הטיות, שפות או מקורות הגרפים. הנתונים מבוססים על מחקר מ־2022 והועלו בינואר 2024 בלי תיעוד על שינויים שנעשו בתוכן עצמו. אין שום עדות לתמיכה בעברית או בתרשימים מימין לשמאל. אם אתם בונים שירות מוצר, אי אפשר להסתמך על הכרטיס הזה כדי להבין את התפלגות הנתונים וחובה לבדוק את התוכן של קובץ הבדיקה ידנית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא דווח רישיון בעמוד המאגר. ללא רישיון מפורש אין אישור שימוש חוקי, ויש לבדוק את תנאי הרישיון במאגר המקורי של ChartQA לפני כל שימוש.
האם המאגר כולל תרשימים בעברית?
הכרטיס לא מציין שפות כלל. המאגר המקורי נבנה באנגלית, ואין סיבה להניח שיש כאן תמיכה בעברית או בתרשימים מקומיים.
מה ההבדל בין המאגר הזה לבין ChartQA המקורי?
הנתונים כאן הומרו לפורמט parquet והותאמו ספציפית לכלי lmms-eval של המפרסמים. המאגר המקורי יושב בגיטהאב של vis-nlp וכולל את הגרסה הראשונית של החוקרים.
כמה המאגר שוקל וכמה דוגמאות יש בו?
הכרטיס אינו מציין נפח בדיסק או כמות שורות. במאגר מופיעים שלושה קבצים בלבד, כולל קובץ parquet יחיד עבור חלוקת המבחן.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face לפי המזהה lmms-lab-encoder/ChartQA. המאגר פתוח לציבור ואין צורך לבקש אישור גישה מראש. כל המידע שמור בפורמט parquet יעיל, כאשר הדוגמה הבולטת במאגר היא קובץ בשם test-00000-of-00001.parquet. הכרטיס לא מפרט את שמות העמודות, את גודל הקבצים בדיסק או אילו שדות מוגדרים בפנים.
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/ChartQA")הרישיון
היוצרים לא דיווחו על רישיון כלל. מבחינה משפטית זה אומר שאין לכם היתר שימוש מוגדר, לא למחקר ובטח שלא למוצר מסחרי. לפני שאתם מאמנים מודל או משלבים את הנתונים בתהליך העבודה, עליכם לגשת למאגר המקורי של ChartQA ולבדוק מה תנאי הרישיון שקבעו החוקרים במקור.