Infinity-Doc2-5M
קוד פתוחinflycc-by-nc-sa-4.02026-05-09
חמישה מיליון עמודי מסמכים סרוקים באנגלית ובסינית, עם תיוג מלא של טקסט, טבלאות בפורמט HTML, נוסחאות מתמטיות, מבנה עמוד וסדר קריאה. מתאים לאימון מודלי ראייה שמנתחים מסמכים שלמים במקום רק לחלץ טקסט גולמי.
- 949הורדות בחודש
- 23לייקים
מה זה
המאגר מחולק למשימות שונות של פירוק מסמכים. יש בו ניתוח עמודים שלמים, חילוץ טבלאות, המרת גרפים לקוד או לנתונים, ותרגום של נוסחאות כימיות למבנה SMILES. מקורות המידע כוללים מאמרים אקדמיים, דוחות כספיים, עיתונים, ספרי לימוד, מבחנים ומגזינים, בפריסות שנעות מעמודה אחת ועד טקסט אנכי.
התיוג מורכב משילוב של תיוג ידני עם בקרת איכות של מומחים לצד סינתזה ממוחשבת מקורפוס מקורי. כל רשומה כוללת תמונה והנחיית שיחה בין משתמש למודל. ברשומות שדורשות זיהוי מיקום, מצורפות קואורדינטות של תיבות תוחמות וסיווגי אלמנטים כמו כותרות, פסקאות, הערות שוליים, איורים וכותרות עליונות ותחתונות.
מתאים ל
- אימון זיהוי מבנה מסמך
זיהוי תיבות תוחמות וסיווג מקטעים כמו כותרות, טבלאות ופסקאות בעמודים מורכבים.
- המרת טבלאות ל־HTML
חילוץ טבלאות מורכבות מקובצי תמונה ישירות לקוד HTML ששומר על המבנה המקורי.
- חילוץ נוסחאות מדעיות
תרגום נוסחאות מתמטיות ל־LaTeX ומבנים כימיים לפורמט SMILES מתוך ספרי לימוד ומאמרים.
איפה זה נופל
הנתונים מכסים רק אנגלית וסינית, בלי שום תמיכה בעברית או בשפות עם כיווניות מימין לשמאל. אם המטרה היא פירוק מסמכים מקומיים, תצטרכו לאסוף או לסנתז דאטה נוסף בעצמכם. בנוסף, חלק ניכר מהמידע נוצר בצורה סינתטית במנוע ייעודי, ולכן מודלים שמאומנים עליו בלבד עלולים להתקשות מול סריקות אמיתיות מטושטשות, צילומים עקומים או פגמים פיזיים של נייר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. המאגר מופץ תחת רישיון CC BY-NC-SA 4.0 שאוסר שימוש מסחרי באופן מפורש. אפשר להשתמש בו למחקר אקדמי, בדיקות פנימיות וניסויים בלבד, וכל נגזרת חייבת לשאת את אותו הרישיון.
האם יש במאגר מסמכים בעברית?
לא. המאגר כולל אך ורק מסמכים באנגלית ובסינית, כולל פריסות מעורבות של שתי השפות. כדי לעבוד על מסמכים בעברית תצטרכו להוסיף דאטה נפרד שמתמודד עם כיווניות מימין לשמאל וגופנים מקומיים.
איך נאספו התמונות והתיוגים?
היוצרים שילבו סינתזה אוטומטית מקורפוס טקסט מקורי כדי להימנע מבעיות זכויות יוצרים, לצד תיוג חכם של מסמכים קיימים. הנתונים עברו סינון ידני ובקרת איכות על ידי מומחים לפני שסודרו לפורמט של שיחה והוראות.
איך ניגשים לקבצים בפועל?
המאגר מחולק לתיקיות לפי משימות, כאשר הקבצים הגדולים פוצלו למקטעי tar.gz ממוספרים. צריך להוריד את המקטעים, לאחד ולחלץ אותם כדי לקבל את תמונות ה־PNG וקובצי ה־JSONL שמחברים בין התמונה לתיוג.
איך טוענים
המאגר מורכב מ־23 קבצים ודורש שטח אחסון גדול. חלק מהקבצים מחולקים למספר מקטעים בגלל מגבלות גודל, כך שתצטרכו לחבר ולפתוח קובצי tar.gz כדי לקבל את תיקיות התמונות וקובצי ה־JSONL של התיוגים. אין צורך בבקשת גישה מיוחדת להורדה. בכל רשומת תיוג תמצאו את נתיב התמונה, מזהה המשימה והתת-משימה, רשימת ההודעות, ובמשימות מבוססות פריסה גם את המערכים של התיבות והאובייקטים.
from datasets import load_dataset
ds = load_dataset("infly/Infinity-Doc2-5M")הרישיון
הרישיון הוא CC BY-NC-SA 4.0. השימוש מוגבל למטרות מחקר ולפרויקטים שאינם מסחריים בלבד, תוך מתן קרדיט למחברים. כל נגזרת של המאגר או מודל שמתבסס עליו מחויבים ברישיון זהה, כך שאי אפשר לשלב אותו במוצרים מסחריים או לסגור את הקוד והמשקלים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא