TableBank
קוד פתוחliminghao1630apache-2.02024-08-10
המאגר כולל מעל 417 אלף טבלאות מתויגות ממסמכי וורד ולטך. הוא מתאים למי שרוצה לאמן מודלים לזיהוי מיקום של טבלאות בעמוד ולחילוץ המבנה שלהן לקוד.
- 391הורדות בחודש
- 24לייקים
מה זה
הנתונים מבוססים על תמונות עמוד מתוך מסמכי וורד וקובצי לטך שנאספו מהרשת. היוצרים השתמשו בפיקוח חלש כדי לחסוך תיוג ידני, הם התערבו בקוד המקור של המסמכים, כמו תגיות אופיס וקוד לטך, כדי לחלץ את גבולות הטבלה ואת המבנה הפנימי שלה בצורה אוטומטית.
המאגר מחולק לשתי משימות נפרדות. המשימה הראשונה היא זיהוי טבלאות בעמוד, הכוללת 417,234 טבלאות בתוך 278,582 תמונות עמוד עם תיוג של קואורדינטות. המשימה השנייה היא זיהוי מבנה, הכוללת 145,463 תמונות של טבלאות שבהן המטרה היא להפיק רצף תגיות שמייצג שורות, עמודות ותאים. לכל משימה יש חלוקה מוגדרת מראש לאימון, בדיקה ואימות לפי מקור הקובץ.
מתאים ל
- איתור טבלאות במסמכים
מציאת מיקום וקואורדינטות של טבלאות בתוך קובצי תמונה של עמודים שלמים.
- שחזור מבנה תאים
המרת תמונת טבלה לרצף תגיות של שורות ועמודות לשילוב במערכות עיבוד מסמכים.
- בנצ׳מרק למודלי ראייה
הערכת ביצועים של מודלי איתור אובייקטים על חלוקות הבדיקה הרשמיות של המאגר.
איפה זה נופל
כל התיוג נוצר אוטומטית ממסמכים דיגיטליים מקוריים ולא מתיוג ידני. זה אומר שאם אתם עובדים על סריקות עקומות, צילומים מטלפון או דפים מקומטים, הנתונים כאן לא מייצגים את הרעש הזה. בנוסף, חלוקת המקורות מוטה חזק לטובת מאמרים אקדמיים ומסמכים טכניים שמגיעים מלטך, והכרטיס לא מפרט שפות חוץ מהשימוש בתגיות קוד, כך שאין שום הבטחה לגבי התאמה למסמכים בעברית או תמיכה בטבלאות מימין לשמאל.
שאלות
נפוצות
האם המאגר מותר לשימוש מסחרי?
הרישיון המדווח הוא אפאצ׳י 2.0 שמתיר שימוש מסחרי, אבל החוקרים כתבו במפורש שהנתונים מיועדים למחקר בלבד. הסתירה הזו יוצרת בעייתיות משפטית ברורה. אם אתם בונים מוצר מסחרי, לא כדאי להסתמך על המאגר בלי בדיקה מעמיקה.
האם הדאטהסט מתאים לעבודה עם עברית?
הכרטיס לא מציין שפות כלל ולא מדווח על תמיכה בעברית. הטקסטים והמבנים מגיעים בעיקר מקובצי לטך ווורד מהאינטרנט, כך שסביר להניח שרובו המוחלט באנגלית. טבלאות עם כיווניות מימין לשמאל לא נבדקו שם.
איך הנתונים נאספו ותויגו?
החוקרים אספו מסמכים קיימים ושינו את קוד המקור שלהם באופיס ובקובצי לטך כדי לשתול גבולות סביב הטבלאות. התהליך כולו מבוסס על פיקוח חלש ואוטומטי, בלי אנשים שישבו וסימנו ריבועים ידנית.
איך מורידים את הקבצים בפועל?
המאגר שמור בתוך חמישה קובצי ארכיון מפוצלים. צריך להוריד את כולם לאותה תיקייה ולחלץ אותם יחד כדי לקבל את התמונות והתיוגים המלאים.
איך טוענים
הקבצים לא מגיעים בטעינה ישירה של שורה אחת, אלא מחולקים לחמישה ארכיונים דחוסים עם סיומות ממוספרות. צריך להוריד את כל החלקים, לאחד ולפתוח אותם ידנית. המאגר פתוח להורדה ואינו דורש אישור גישה מיוחד. כדי לעבוד איתו צריך לעבד תמונות עמוד מול תיבות תוחמות עבור משימת הזיהוי, או תמונות טבלה מול רצפי תגיות קוד עבור משימת המבנה.
from datasets import load_dataset
ds = load_dataset("liminghao1630/TableBank")הרישיון
הרישיון הרשמי המוגדר במטא-דאטה ובטקסט הוא אפאצ׳י 2.0, שמתיר שימוש מסחרי, שינוי והפצה תחת חובת ייחוס. עם זאת, יש סתירה פנימית בעמוד, שכן החוקרים הוסיפו הערה שהשימוש מיועד למחקר בלבד. במצב כזה, שימוש מסחרי במודל שמאומן על הנתונים עלול לחשוף אתכם לסיכון משפטי ומומלץ לבדוק את הנושא מול הגורם המשפטי שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים