Infinity-Doc-400K
קוד פתוחinflyרישיון לא דווח2025-10-27
מאגר מסמכים סרוקים שמכיל כמעט 400 אלף דוגמאות אמיתיות וסינתטיות עם תיוגי מבנה מלאים. הוא מיועד למי שמאמן מודלים לפענוח מסמכים מורכבים כמו דוחות פיננסיים, מאמרים ומגזינים.
- 1,642הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 386,781 רשומות המחולקות לשבע קטגוריות שונות של מסמכים. החלק הגדול ביותר מכיל מגזינים עם 174,589 דוגמאות, מאמרים אקדמיים עם 70,057 דוגמאות, מסמכים סינתטיים עם 61,965 דוגמאות, ודוחות כספיים עם 59,645 דוגמאות. בנוסף יש כמויות קטנות יותר של ספרים, דוחות רפואיים ודפי אינטרנט. כל רשומה כוללת מזהה תמונה ייחודי, את תמונת המסמך, תוכן הטקסט בפורמט Markdown או HTML, תיבות תוחמות לסיווג אלמנטים ומטא-דאטה על סוג המסמך והמשימה.
איסוף המידע משלב שני מקורות שונים. מסמכים אמיתיים נאספו מהרשת ועברו תיוג אוטומטי בעזרת מספר מומחים עם אימות צולב לחילוץ טקסט, טבלאות ונוסחאות. במקביל, מסמכים סינתטיים נוצרו על ידי הזרקת תוכן מוויקיפדיה ומאגרי רשת לתבניות HTML מוגדרות מראש, רינדור לתמונה וחילוץ תיוג מדויק ישירות מהקוד המקורי. חשוב לשים לב שתיבות תוחמות קיימות במאמרים, דוחות כספיים, מגזינים ומסמכים סינתטיים, אך נעדרות מספרים, דוחות רפואיים ודפי אינטרנט.
מתאים ל
- אימון מפענחי מסמכים
פיתוח מודלי ראייה ושפה שממירים סריקות של דוחות ומאמרים לטקסט מובנה בפורמט Markdown.
- זיהוי מבנה ועימוד
לימוד מודלים לזהות ולתחום טבלאות, כותרות ופסקאות במגזינים ודוחות באמצעות שדה התיבות התוחמות.
- בדיקת ביצועי OCR מתקדמים
הערכת היכולת של מודלים להתמודד עם טקסטים סינתטיים מורכבים בעלי תיוג מדויק מבוסס HTML.
איפה זה נופל
חלק גדול מתיוגי המסמכים האמיתיים אינו תיוג אנושי אלא תיוג פסאודו מבוסס מודלים ואימות צולב, כך שעלולות להופיע טעויות זיהוי עדינות במבנים מורכבים. בנוסף, שלוש קטגוריות שלמות של מסמכים אינן כוללות תיבות תוחמות כלל. הטקסטים נאספו ממקורות כמו ויקיפדיה ומאגר CC3M שמתמקדים באנגלית, ואין מידע על תמיכה בשפות אחרות או בעברית. אי אפשר להניח שהמודל שייצא מפה יידע להתמודד עם שפות מימין לשמאל או עם עימוד מקומי בלי אימון ייעודי נוסף.
אותה משפחה
Infinity-Doc יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפיתוח מוצר מסחרי?
לא, המאגר מוגדר תחת רישיון cc-by-nc-sa-4.0 שמגביל את השימוש למטרות לא מסחריות בלבד. כל מודל שתאמנו עליו יהיה כפוף לאותן מגבלות שיתוף ולא יוכל להימכר כמוצר סגור.
האם המאגר תומך בעיבוד מסמכים בעברית?
הכרטיס לא מציין תמיכה בעברית, והנתונים נאספו בעיקר ממקורות רשת באנגלית וויקיפדיה. אם אתם בונים מערכת למסמכים מקומיים שנכתבים מימין לשמאל, המאגר הזה כנראה לא יספק את הסחורה.
האם לכל המסמכים יש תיוג מיקום מלא?
לא לכולם. תיבות תוחמות מסופקות עבור מאמרים אקדמיים, דוחות כספיים, מגזינים ומסמכים סינתטיים, אך חסרות לחלוטין בקטגוריות של ספרים, דוחות רפואיים ודפי רשת.
באיזה אופן נוצרו הנתונים והתיוגים במאגר?
המאגר משלב דפי אינטרנט אמיתיים שתויגו אוטומטית בכמה מודלים עם אימות צולב, לצד דפים סינתטיים שנבנו מקוד HTML. המסמכים הסינתטיים מציעים תיוג מדויק שנלקח ישירות מהקוד, בעוד שהמסמכים האמיתיים מסתמכים על תיוג פסאודו ממוחשב.
איך טוענים
המאגר מחולק ל־98 קובצי Parquet שונים תחת השמות train-00000-of-00097 עד train-00097-of-00097, לצד סקריפט המרה ייעודי בשם convert_to_sharegpt.py. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בעבודה איתו, השדות המרכזיים שתרצו למשוך לכל דוגמה הם image שמחזיק את התמונה, gt שמכיל את התוכן המפוענח, ו־bbox עבור משימות זיהוי מיקום שבהן השדה הזה קיים.
from datasets import load_dataset
ds = load_dataset("infly/Infinity-Doc-400K")הרישיון
בטקסט המאגר נכתב שהוא מופץ תחת רישיון cc-by-nc-sa-4.0, למרות שמטא-דאטה הכללי של העמוד מציג שלא דווח רישיון. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג שהוא. מותר להשתמש בנתונים למחקר או לפיתוח פנימי בלבד, תוך מתן קרדיט ושיתוף כל נגזרת באותם תנאים. אם תאמנו מודל על הדאטהסט הזה, לא תוכלו להטמיע אותו במוצר מסחרי בתשלום.