table-vqa
קוד פתוחcmarkeaapache-2.02024-07-25
מאגר שמחבר תמונות טבלאות ממאמרי arXiv עם קוד ה־LaTeX המקורי שלהן ושאלות ותשובות באנגלית ובצרפתית. מתאים למי שמאמן מודלים מולטימודליים להבנת מבנה טבלאי וקריאת נתונים ויזואלית.
- 291הורדות בחודש
- 24לייקים
מה זה
המאגר מבוסס על תמונות טבלאות שנלקחו מתוך מאגר AFTdb, הכולל נתונים ממאמרים אקדמיים ב־arXiv. כל רשומה כוללת את תמונת הטבלה, קוד המקור שלה ב־LaTeX יחד עם פקודות newcommands מותאמות אישית, מזהה המאמר המקורי, וכעשר שאלות ותשובות שנוצרו על בסיס הטבלה. מחצית מהשאלות והתשובות מנוסחות באנגלית ומחציתן בצרפתית.
התוכן הסינתטי נוצר באמצעות המודלים Claude 3.5 Sonnet ו־Gemini 1.5 Pro, בחלוקה כמעט שווה ביניהם. החלוקה הפנימית מורכבת מאימון ובדיקה: חלק האימון מכיל 16,415 תמונות ומעל 164 אלף זוגות שאלות ותשובות, וחלק הבדיקה מכיל 395 תמונות עם קצת יותר מ־4,000 שאלות ותשובות.
מתאים ל
- אימון מודל VQA לטבלאות
לימוד מודלים מולטימודליים לענות על שאלות ישירות מתוך תמונות של טבלאות מורכבות.
- המרת תמונת טבלה לקוד
בניית מודל תמונה לטקסט שמקבל צילום של טבלה ופולט את תחביר ה־LaTeX המדויק שלה.
- הערכת ביצועים רב לשונית
בחינת יכולות הסקת מסקנות מטבלאות באנגלית ובצרפתית על סט בדיקה ייעודי.
איפה זה נופל
אין כאן שום תמיכה בעברית. הנתונים מוגבלים לחלוטין לאנגלית ולצרפתית, והתוכן מגיע אך ורק ממאמרים מדעיים ב־arXiv, כך שטבלאות עסקיות, חשבוניות או מסמכים סרוקים מטושטשים לא מקבלים כאן מענה. מעבר לכך, כל השאלות והתשובות הן דאטה סינתטי שיוצר על ידי מודלים מסחריים ולא נכתב בידי בני אדם. המשמעות היא שגיאות אפשריות בהבנת הנתונים הטבלאיים והזיות שהשתרבבו לתוך התשובות, דבר שמחייב בדיקה מדגמית לפני שמסתמכים עליו לבחינת מודל.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר כולל אך ורק אנגלית וצרפתית. השאלות והתשובות חולקו באופן שווה בין שתי השפות האלו בלבד. אם המטרה שלכם היא מודל לעברית, תצטרכו לתרגם את השאלות או לייצר סט נתונים מקביל.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון המוגדר במאגר הוא Apache 2.0, שבאופן עקרוני מתיר שימוש מסחרי מלא ללא הגבלת שיתוף זהה. יחד עם זאת, הטקסט נוצר על ידי Gemini ו־Claude, ולחברות אלו יש מגבלות בתנאי השימוש לגבי שימוש בפלט שלהן לאימון מודלים מתחרים. מומלץ לבדוק את ההיבט המשפטי הזה לפני שמתחילים לאמן מוצר מסחרי.
איך נאספו השאלות והתשובות?
השאלות והתשובות לא נכתבו על ידי אנשים אלא יוצרו בצורה סינתטית לחלוטין. היוצרים השתמשו ב־Claude 3.5 Sonnet וב־Gemini 1.5 Pro, כאשר כל מודל ייצר בערך חצי מכמות הנתונים. המקור לתמונות עצמן הוא טבלאות מתוך מאמרי arXiv שעברו עיבוד מוקדם.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה datasets באמצעות הפקודה load_dataset עם המזהה cmarkea/table-vqa. אין צורך בבקשת גישה מיוחדת או באישור ידני. המאגר יושב בקבצי Parquet שמחולקים לשבעה קבצי אימון וקובץ בדיקה אחד, לצד קובץ התיעוד. השדות העיקריים שצריך לעבד הם אובייקט התמונה עצמו, מחרוזת ה־LaTeX, ומילון ה־qa שמחזיק את השאלות והתשובות בשתי השפות.
from datasets import load_dataset
ds = load_dataset("cmarkea/table-vqa")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם. הרישיון דורש מתן קרדיט וציון הרישיון המקורי, אך אינו מחייב אתכם לשחרר את הפיתוחים שלכם באותו רישיון. קחו בחשבון שהשאלות נוצרו במקור באמצעות Claude ו־Gemini, דבר שעשוי להכיל תנאי שימוש נפרדים של החברות המפתחות לגבי אימון מודלים מתחרים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים