DUDE_loader

מה זה

הנתונים מיועדים למשימת Document Visual Question Answering על גבי מסמכים מרובי עמודים, בהיקף של בין עשרת אלפים למאה אלף דוגמאות. כל רשומה כוללת מסמך בפורמט בינארי מסוג PDF או כנתיב קובץ, יחד עם שאלות ותשובות שמתבססות עליו. הדגש כאן הוא על חיבור בין הטקסט לבין המבנה החזותי של הדף, כולל קובצי דוגמה של נתוני אמת וקבצי הגשה מוכנים לתחרויות.

המאגר נבנה סביב תחרות DUDE ומפצל את המידע לקובצי בינאריים דחוסים, פלטי זיהוי תווים וקובצי פיצול להערכה. המפתחים לא ציינו מה מקור המסמכים הגולמיים ואיך הם נאספו או סוננו בפועל, אך הם מציעים המרה מובנית לפורמט מסד נתוני תמונות באמצעות סקריפט ייעודי שמצורף לפרויקט.

מתאים ל

• הערכת מודלי VQA

  בדיקת ביצועים של מודלים חזותיים על מסמכים מרובי עמודים באנגלית.

• השוואת מנועי זיהוי טקסט

  בחינת השפעת איכות הפיענוח של אמזון, אז'ור וטסרקט על דיוק התשובות.

• אימון למענה על שאלות

  כוונון עדין של מודלי שפה וראייה להבנת מבנה וטבלאות בתוך מסמכי PDF.

איפה זה נופל

הנתונים כולם באנגלית, בלי שום תמיכה בעברית או במסמכים מימין לשמאל. הכרטיס לא מפרט מהיכן הגיעו המסמכים, מתי הם נוצרו, או אילו הטיות מסחריות ומשפטיות קיימות בתוכן. אם מפתחים מערכת לארגון מקומי, אי אפשר להסתמך עליו לבדיקת שפות אחרות, וחובה לנתח ידנית את סוגי הדפים לפני שמשלבים מודל שאומן עליו במוצר חי.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם התצורה הרצויה מתוך תריסר אפשרויות שונות. צריך לבחור בין מנוע הזיהוי של אמזון, אז'ור או טסרקט, בפורמט המקורי או בתקן DUE, ולקבוע אם רוצים קבצים בינאריים או נתיבים. אין צורך באישור גישה מיוחד. הקבצים הבינאריים יורדים כארכיון דחוס לתיקיית המטמון המקומית, ומשם אפשר להמיר אותם לפורמט בסיס תמונות להרצת מודלים.

from datasets import load_dataset

ds = load_dataset("jordyvl/DUDE_loader")

הרישיון

המאגר מופץ תחת רישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולבנות עליו מודלים, בתנאי שנותנים קרדיט מלא ליוצרים המקוריים. אין חובה לשתף את המודלים המאומנים או את התוצרים באותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗