table-extraction
קוד פתוחkeremberkeרישיון לא דווח2023-01-18
המאגר כולל תמונות מסמכים עם תיוג לאיתור טבלאות עם מסגרת ובלי מסגרת. מי שמפתח מודל לזיהוי מבנה מסמכים ימצא פה דגימה מוכנה לעבודה מהירה.
- 113הורדות בחודש
- 29לייקים
מה זה
המאגר מכיל בסך הכל 342 תמונות שחולקו לשלושה חלקים עיקריים. חלק האימון כולל 238 תמונות, חלק האימות כולל 70 תמונות, ולבדיקה הסופית הוקצו 34 תמונות נוספות. כל רשומה מייצגת עמוד מסמך שבו אותרו וסומנו טבלאות, כשהתיוגים עצמם מסווגים לשתי קטגוריות בלבד: טבלאות בעלות קווי מסגרת ברורים וטבלאות ללא מסגרת כלל.
המידע נאסף ויוצא דרך פלטפורמת רובופלואו מפרויקט מקור שעסק בחילוץ טבלאות מקובצי מסמכים בינואר 2023. הנתונים נשמרו בפורמט קוקו המוכר במשימות ראייה ממוחשבת, לאחר שעברו יישור אוטומטי של כיוון הפיקסלים והסרת נתוני האוריינטציה של הקובץ. לפי התיעוד הרשמי, לא הופעלו על התמונות פעולות אוגמנטציה או שינויים גרפיים נוספים מעבר לכך.
מתאים ל
- בדיקת היתכנות לזיהוי טבלה
אימון מהיר של מודל קל משקל כדי לבדוק יכולת הפרדה בין טבלה לשאר הטקסט בעמוד.
- הערכת ביצועי מודל קיים
שימוש בסט הבדיקה כדי לראות איך מודל מדף מתמודד עם טבלאות ללא קווי גבול.
- אימון משלים למסמכים
הוספת הדוגמאות למאגר קיים כדי לשפר דיוק באיתור גבולות של טבלאות פתוחות.
איפה זה נופל
זה מאגר זעיר של 342 תמונות, שלא יספיק לבדו לאימון מודל הפקה מאפס. התיעוד לא מפרט אילו סוגי מסמכים נכללו, מה איכות הסריקה שלהם, ובאילו שפות מדובר. אי אפשר לדעת אם יש שם עברית, כיווניות מימין לשמאל או מבנים מורכבים כמו תאים ממוזגים, ולכן חייבים לבדוק ידנית את התמונות לפני שמסתמכים עליו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, לפי כרטיס הדאטהסט הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא. התנאי היחיד הוא מתן קרדיט ראוי למקור. עם זאת, בגלל שבמטא-דאטה הראשי השדה ריק, כדאי לשמור עותק של תנאי הרישיון המופיעים בטקסט.
האם הדאטהסט מתאים לעבודה עם מסמכים בעברית?
התיעוד אינו מציין את שפת המסמכים שנאספו. מאחר שהמשימה ממוקדת בזיהוי תיבות תחימה של טבלאות ולא בקריאת הטקסט עצמו, המבנה החזותי יכול לעבוד. למרות זאת, יש לבדוק אם כיווניות מימין לשמאל בטבלאות ללא מסגרת אינה פוגעת בדיוק.
איך הנתונים נאספו ועובדו?
הנתונים יוצאו ישירות מפרויקט ייעודי של משתמש בפלטפורמת רובופלואו בינואר 2023. הם עברו יישור זווית אוטומטי בלבד, ללא הפעלת מניפולציות של אוגמנטציה על התמונות. התיוגים נשמרו במבנה קוקו סטנדרטי.
כמה דוגמאות יש בכל קבוצה?
המאגר מחולק מראש ל־238 תמונות אימון, 70 תמונות אימות ו־34 תמונות בדיקה. סך הכל מדובר ב־342 תמונות בלבד. מדובר בכמות קטנה שמתאימה בעיקר לבדיקות או כתוספת למאגרים קיימים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets עם הפקודה load_dataset לנתיב המאגר, תחת השם full. המאגר פתוח לציבור ולא דורש בקשת גישה או מפתחות מיוחדים. הקבצים מאוחסנים בארכיוני זיפ של תמונות לפי החלוקה לאימון, אימות ובדיקה, יחד עם קובצי תיאור בפורמט קוקו שמכילים את תיבות התחימה והתגיות עבור כל טבלה בתמונה.
from datasets import load_dataset
ds = load_dataset("keremberke/table-extraction")הרישיון
בעמוד המאגר מופיע רישיון מסוג CC BY 4.0, אף שבמטא-דאטה הראשי לא דווח רישיון. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט מתאים ליוצר המקורי. המודלים שתאמנו על הבסיס הזה אינם מחויבים להיפתח תחת אותו רישיון.