DocBank
קוד פתוחliminghao1630apache-2.02024-08-11
חצי מיליון עמודי מסמכים עם תיוג עדין ברמת הטוקן לניתוח מבנה. הוא מתאים למי שרוצה לאמן מודלים שמשלבים ראייה ממוחשבת וטקסט בלי להסתפק בתיחום גס של פסקאות.
- 1,649הורדות בחודש
- 20לייקים
מה זה
המאגר מציע 500,000 עמודי מסמכים שמגיעים עם שילוב של תמונת העמוד ומידע טקסטואלי. להבדיל ממאגרים שמסמנים רק קופסאות כלליות סביב אזורים גדולים, כאן התיוג הוא ברמת הטוקן הבודד עבור 12 יחידות סמנטיות שונות: כותרת ראשית, מחבר, תקציר, כותרת סעיף, פסקה, טבלה, איור, כיתוב תמונה, נוסחה, רשימה, הערת שוליים והפניות ביבליוגרפיות.
האיסוף והתיוג התבססו על גישת פיקוח חלש, מה שאפשר לייצר נפח עצום בלי להושיב מתייגים אנושיים על כל מילה. הנתונים מתחלקים ל־400,000 עמודים לאימון, 50,000 לאימות ועוד 50,000 לבדיקה. החומרים עצמם מקורם במסמכים שנכתבו בין השנים 2014 ל־2018, עם התפלגות די אחידה של כ־16% עד 23% מכל שנתון.
מתאים ל
- אימון מודלי מולטימודל
אימון ארכיטקטורות כמו LayoutLM שמשלבות תמונה ומיקום מילים לסיווג מקטעים.
- זיהוי אובייקטים במסמכים
המרה לפורמט גילוי עצמים עבור רשתות כמו Faster R-CNN לסימון טבלאות ואיורים.
- סיווג טוקנים ברצף טקסט
הפעלת מודלי שפה סטנדרטיים למשימת תיוג רצף של חלקי המאמר ברמת המילה.
איפה זה נופל
התיוג נוצר בפיקוח חלש ולא על ידי בני אדם, מה שאומר שסביר מאוד שתפגשו רעש בתיוגים מסוימים. מעבר לזה, המאפיינים הסמנטיים כמו תקציר, הפניות ביבליוגרפיות ונוסחאות מגיעים ממבנה מובהק של מאמרים מדעיים. אם המטרה שלכם היא לחלץ חשבוניות, חוזים עסקיים או טפסים משרדיים, ההתפלגות הזו שונה לגמרי. בנוסף, כל הנתונים מבוססים על מסמכים מהשנים 2014 עד 2018 ובשפה האנגלית, כך שאין כאן שום ייצוג לעברית או לתמיכה בקריאה מימין לשמאל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מופץ תחת רישיון Apache-2.0. הרישיון מאפשר שימוש מסחרי מלא והטמעה במוצרים, כל עוד אתם מצרפים את תנאי הרישיון המקוריים ואת מתן הקרדיט הנדרש.
האם הדאטהסט כולל מסמכים בעברית?
לא, הנתונים מבוססים על ספרות אקדמית באנגלית. לא תמצאו בו טקסטים בעברית ולא תמיכה ביישור או כיווניות של שפות הנכתבות מימין לשמאל.
איך נאספו התיוגים לעמודים?
התיוגים נוצרו באופן אוטומטי באמצעות גישת פיקוח חלש ולא בידי צוותי תיוג ידניים. השיטה אפשרה לייצר 500,000 עמודים ברמת הטוקן, אך עלולה לכלול אי דיוקים נקודתיים.
במה הוא שונה ממאגרים כמו PubLayNet או TableBank?
מרבית המאגרים האחרים מתמקדים בראייה ממוחשבת בלבד ומספקים תיבות גסות ברמת אזורים. המאגר הזה משלב מידע חזותי וטקסטואלי יחד, ומספק תיוג לכל טוקן על פני 12 מחלקות שונות.
איך טוענים
הנתונים במאגר מחולקים לקבצי ארכיון מרובים, למשל קבצי zip מפוצלים מרובי חלקים כמו DocBank_500K_ori_img.zip.001 ומעלה. אין צורך בבקשת אישור גישה ידנית, פשוט מורידים ומחלצים. לטעינה נוחה, החוקרים יצרו כלי נפרד בשם DocBankLoader שיודע גם להמיר את המבנה לפורמטים של זיהוי אובייקטים. כדי לעבד מסמכי PDF נוספים לאותו מבנה, יש סקריפט ייעודי בשם pdf_process.py בתיקיית הסקריפטים. באימון מודלים מבוססי טרנספורמרס, החוקרים פיצלו את הטקסט למקטעים באורך מקסימלי של 512 טוקנים.
from datasets import load_dataset
ds = load_dataset("liminghao1630/DocBank")הרישיון
הרישיון המדווח הוא Apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף זהה, כך שאתם יכולים לאמן עליו מודלים מסחריים ולסגור את הקוד או המשקלים שנוצרו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים