MMTab
קוד פתוחSpursgoZmymit2024-05-31
אימון מודלים רב-מודאליים על תמונות של טבלאות נתקל לרוב בחוסר בדוגמאות מגוונות. המאגר מספק מאות אלפי תמונות והוראות שמלמדות לחלץ מידע ולענות על שאלות מטבלה חזותית.
- 1,258הורדות בחודש
- 29לייקים
מה זה
המאגר מבוסס על 14 דאטהסטים קיימים משמונה תחומים שונים, שבהם טבלאות טקסטואליות הומרו לתמונות באמצעות סקריפטים ייעודיים. הוא מכסה 15 משימות שונות של הבנת טבלאות, כולל מענה לשאלות, הפקת טקסט מנתוני טבלה והבנת המבנה שלה. כל רשומה כוללת מזהה ייחודי, נתיב לתמונת הטבלה ושיחה בין אדם למודל במבנה של שאלת קלט ותשובה.
התוכן מחולק לשלושה חלקים עיקריים שנועדו לשלבים שונים באימון. החלק הראשון מיועד לקדם-אימון ומכיל 150 אלף דוגמאות זיהוי לצד קובצי תמונות, כולל הרחבה של 16 אלף תמונות ממאגר ToTTo. החלק השני מיועד לכוונון עדין לפי הוראות ומציע 232 אלף דוגמאות בפורמט LLaVA, מהן 195 אלף בסבב יחיד ו־37 אלף בסבבים מרובים, יחד עם 82 אלף תמונות טבלאות. החלק השלישי מיועד להערכה וכולל 23 אלף תמונות ו־49 אלף דוגמאות בדיקה, שמתוכן 4,000 דוגמאות מוגדרות כבדיקה חיצונית.
מתאים ל
- אימון VLM להבנת טבלאות
כוונון מודלים מולטי-מודאליים לפענוח מבנה ונתונים מתוך תמונות של טבלאות.
- בנצ'מרק חזותי למודלים
בדיקת יכולת המודל לענות על שאלות מטבלה באמצעות 49 אלף דוגמאות ההערכה.
- המרת טבלאות לטקסט חופשי
אימון מודל לתאר במילים תאים ספציפיים ומגמות מתוך צילום מסמך.
איפה זה נופל
הנתונים מוגבלים לחלוטין לטבלאות בודדות ובשפה האנגלית בלבד, כך שאין כאן מענה למי שבונה מערכת לעברית או לניתוח כמה טבלאות במקביל. התמונות נוצרו בסקריפט סינתטי מתוך נתוני מקור קיימים, ולכן הן נקיות וקריאות מדי. במציאות, תמונות של טבלאות מגיעות מטושטשות, חתוכות או סרוקות, ואת זה המאגר פשוט לא מדמה.
שאלות
נפוצות
האם המאגר כולל תמיכה בעברית?
לא, הנתונים כולם באנגלית. הם מתבססים על מאגרים ציבוריים באנגלית שתורגמו לתמונות. מי שרוצה להשתמש בו בישראל יצטרך לתרגם את השיחות או להשתמש בו לאימון יכולות ראייה בלבד.
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון המדווח הוא MIT ולכן השימוש פתוח גם למטרות מסחריות. יש לשמור על תנאי הרישיון ומתן הקרדיט כפי שנדרש. יחד עם זאת, כדאי לזכור שהנתונים מבוססים על 14 דאטהסטים שונים שמקורם ברשת.
מאיפה הגיעו התמונות במאגר?
התמונות אינן צילומים אמיתיים מהרשת אלא רינדור סינתטי. החוקרים לקחו נתונים מ־14 מאגרי טבלאות קיימים, כמו ToTTo, ויצרו מהם תמונות של טבלאות בעזרת סקריפטים אוטומטיים במגוון סגנונות.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. המאגר מורכב משנים עשר קבצים, רובם קובצי JSON בפורמט השיחות של LLaVA לצד קובצי ארכיון ZIP שמכילים עשרות אלפי תמונות. מפתחות הנתונים החשובים בכל רשומה הם הנתיב לתמונה בתוך הארכיון ומערך השיחות שמכיל את תפקיד הדובר ואת הטקסט. כדי לעבוד איתו צריך לפרוק את הארכיונים לנתיב מקומי ולוודא שהקוד שלכם קורא את הפורמט של LLaVA ומצמיד נכון בין הטקסט לתמונות.
from datasets import load_dataset
ds = load_dataset("SpursgoZmy/MMTab")הרישיון
המאגר מפורסם תחת רישיון MIT, מה שאומר שמותר להשתמש בו לצרכים מחקריים ומסחריים ללא תשלום. הדרישה היחידה היא לשמור על הודעת הרישיון והזכויות המקורית של היוצרים. הרישיון אינו דורש שיתוף תחת אותו רישיון, ומודל שאומן על הנתונים אינו מחויב ברישוי פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש