PubTables-v2
קוד פתוחkenshocdla-permissive-2.02025-12-29
מאגר נרחב לחילוץ טבלאות ממסמכים שמתמקד בעמודים שלמים ובטבלאות שמתפרסות על פני כמה עמודים. הוא נבנה במיוחד כדי לפתור בעיות מורכבות של זיהוי מבנה, המשכיות טבלה וטבלאות חריגות בגודלן.
- 1,730הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לשלושה אוספים שונים לפי ההקשר שבו מופיעה הטבלה. האוסף הראשון מכיל 135,578 טבלאות חתוכות צמוד לגבולות שלהן, כאשר בניגוד לגרסה הקודמת כולן ארוכות במיוחד עם לפחות 30 שורות או רחבות במיוחד עם לפחות 12 עמודות. האוסף מיועד לזיהוי מבנה טבלאי מסורתי.
האוסף השני מציע הקשר של עמוד שלם וכולל 467,541 עמודי מסמכים בודדים שבהם מתועדות 548,414 טבלאות. הוא מתאים למשימות זיהוי מיקום טבלה ולחילוץ מלא מתחילתו ועד סופו. האוסף השלישי מורכב מ־9,172 מסמכים מלאים הכוללים את כל העמודים שלהם, ומתרכז בטבלאות מרובות עמודים. יש בו 9,492 טבלאות שנמשכות על פני כמה עמודים, 630 טבלאות שמפוצלות בין טורים, ועוד 14,740 טבלאות רגילות. אוסף זה תומך בחיזוי המשכיות של טבלה מעבר לעמוד.
מתאים ל
- חילוץ טבלאות מרובות עמודים
אימון מערכות לחיבור רציף של טבלה שנחתכת ועוברת לעמוד הבא במסמכים ארוכים.
- פענוח טבלאות ענק
זיהוי מבנה של טבלאות צפופות עם 30 שורות ומעלה או 12 עמודות ומעלה.
- איתור טבלאות בעמוד מלא
אימון מודלים לזיהוי מיקום של טבלה בודדת או כמה טבלאות בתוך עמוד מסמך שלם.
איפה זה נופל
חלק מנתוני המבחן שמורים אצל המפרסמים ולא זמינים להורדה, כולל 5,804 טבלאות חתוכות ו־43,288 עמודים בודדים, כדי לבדוק זליגת מידע במודלים עתידיים. באוסף הטבלאות החתוכות יש רק מקרים קיצוניים של טבלאות רחבות או ארוכות במיוחד, כך שהוא לא מייצג פיזור רגיל של טבלאות קטנות. בנוסף, זיהוי המבנה במסמכים מרובי עמודים תומך בתוכן ומבנה התאים אך לא במיקום המדויק שלהם. הכרטיס לא מציין מאיזה סוגי מסמכים נלקח המידע, מה שפת המקור, או אם יש תמיכה בשפות שאינן אנגלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון cdla-permissive-2.0 מאפשר שימוש מסחרי מלא. תוכלו לאמן מודלים למוצרים פנימיים או חיצוניים בלי דרישה לחשוף את הקוד שלכם. חובה רק לשמור על הקרדיט ונוסח הרישיון בהפצה של הנתונים עצמם.
האם יש במאגר טבלאות בעברית?
אין בכרטיס שום אזכור לתמיכה בשפות שמיות או בעברית בפרט. המאגר נסמך על נתונים באנגלית, כך שאם אתם בונים מערכת למסמכים מישראל, תצטרכו לבדוק את הביצועים בעצמכם או להוסיף דאטה מקומי.
איך הדאטהסט הזה שונה מגרסאות קודמות כמו PubTables-1M?
הגרסה הזו מתרכזת במקרים הקשים שלא קיבלו מענה בעבר. אוסף הטבלאות החתוכות כולל רק טבלאות רחבות במיוחד או ארוכות במיוחד, ובנוסף נוספו אוספים שמכילים מסמכים מלאים וטבלאות שנמשכות על פני כמה עמודים.
איך מושכים ופותחים את הנתונים לעבודה?
המידע מחולק ל־48 קובצי tar.gz באזור הקבצים של המאגר. מורידים אותם לכונן מקומי בעזרת wget או דפדפן, ומפעילים את הסקריפט uncompress.sh שמסופק שם כדי לחלץ את התמונות, קובצי ה־XML והמילים למבנה התיקיות הרצוי.
איך טוענים
אין צורך בבקשת גישה מיוחדת, הקבצים פתוחים להורדה. החומר מופץ בצורת 48 קובצי ארכיון דחוסים בסיומת tar.gz, המחולקים לפי סוגי נתונים כמו תמונות, מילים, טבלאות והערות במבנה XML, בחלוקה ל־train ול־test. מורידים את הקבצים ידנית או בפקודת wget לתיקייה מקומית, ומחלצים אותם בעזרת סקריפט בשם uncompress.sh שמגיע עם המאגר ומסדר את התיקיות. אם צריכים רק אוסף מסוים, אפשר להוריד ולחלץ רק את הקבצים הרלוונטיים לו. להערכת ביצועים, המפרסמים מציעים להתקין את החבילה grits-metric דרך pip.
from datasets import load_dataset
ds = load_dataset("kensho/PubTables-v2")הרישיון
המאגר מופץ תחת רישיון cdla-permissive-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו דורש מכם לשתף שינויים או עבודות נגזרות תחת אותו רישיון בדיוק. הדרישה העיקרית היא שמירת הודעת זכויות היוצרים והטקסט של הרישיון המקורי בעת הפצת הנתונים. אימון מודלים על בסיס הדאטהסט מותר, ואין חובה לחשוף את משקלי המודל שאימנתם.