olmOCR-mix-1025
קוד פתוחallenaiodc-by2025-10-07
עמודי PDF עם תמלול טקסטואלי מלא לפי סדר קריאה טבעי. המטרה היא לאמן או לבדוק מודלים של OCR ומסמכים, כאשר קובצי המקור עצמם כלולים לצד התוצאות.
- 1,691הורדות בחודש
- 35לייקים
מה זה
המאגר כולל 270,250 עמודי PDF בודדים שמחולקים לארבעה חלקים עיקריים. החלק המרכזי מורכב ממסמכים שונים עם 232,790 עמודים, וחלק נוסף כולל 17,474 עמודי ספרים. בשני אלה, העמודים הומרו לתמונות ונשלחו אל gpt-4.1 עם הנחיות ייעודיות ששומרות על סדר הקריאה ועל טקסט דיגיטלי קיים. הטבלאות מעוצבות כקוד HTML, נוסחאות מתמטיות סומנו בתווי בלוק ושורה, ולתמונות נוסף טקסט חלופי בסיסי.
שני החלקים האחרים מבוססים על מסמכים היסטוריים וכתבי יד. ישנם 9,989 עמודים מספריית הקונגרס ועוד 9,997 עמודים מהארכיון הלאומי האמריקאי. עבור המקורות האלה נלקחו תמלולים אנושיים קיימים, ונעשה שימוש בבינה מלאכותית רק כדי לנקות אותם ולהסיר טקסט מיותר. סך הכל ישנם 267,962 עמודים לאימון ו־2,288 עמודים למבחן.
מתאים ל
- אימון זיהוי מבנה מסמך
לימוד מודלים לחלץ טבלאות בתצורת HTML ונוסחאות מתמטיות מתוך קובצי PDF.
- מבחן ביצועי OCR
בדיקת דיוק של מערכות OCR על 2,288 עמודי הערכה הכוללים טקסט וכתב יד.
- פענוח כתבי יד היסטוריים
שיפור זיהוי של מסמכים סרוקים ישנים בעזרת נתוני ספריית הקונגרס והארכיון.
איפה זה נופל
ההטיה השפתית מוחלטת. אנגלית מהווה בין 91.28% ל־99.82% בכל חלקי המאגר. שפות אחרות מופיעות בשברירי אחוזים בלבד, ועברית כלל לא קיימת בנתונים. בנוסף, בחלקים של הספרים והמסמכים הכלליים התמלול אינו מבוסס על אמת קרקע אנושית, אלא על פלט סינתטי של gpt-4.1, מה שעלול לשמר הזיות או שגיאות פענוח של המודל.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. המאגר מורכב כמעט לחלוטין מאנגלית, שמכסה מעל 91% בכל תת-מאגר. השפות הבאות בתור הן ספרדית, צרפתית, גרמנית, אינדונזית, הינדי ולטינית, כולן בהיקפים זעירים. עברית אינה מופיעה ברשימת השפות.
איך נאסף הטקסט שלפיו מאמנים?
הטקסט במסמכים ובספרים נוצר ישירות מרינדור עמודי PDF לפרומפט מול gpt-4.1. במסמכים ההיסטוריים לקחו תמלולים אנושיים מוכנים מארכיונים וניקו אותם בעזרת המודל. ה־PDF עצמם שמורים בארכיוני tar.gz של כ־1GB כל אחד.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון הרשמי הוא ODC-BY, שמחייב מתן קרדיט בלבד. עם זאת, היוצרים הוסיפו הערה לפיה הוא מיועד למחקר ולחינוך לפי קווי היסוד שלהם. לפני שילוב במערכת מסחרית, כדאי לוודא שהשימוש שלכם עומד בכללים אלה.
איך טוענים
הנתונים מחולקים בין 95 קבצים במאגר. הטקסט, המטא-דאטה והתמלולים שמורים בקובצי parquet שפתוחים לצפייה ישירה, בעוד עמודי ה־PDF עצמם ארוזים בקובצי tar.gz של כ־1GB כל אחד. אין צורך באישור גישה מיוחד כדי להוריד. אם אתם מתכננים אימון מלא, ההמלצה בכרטיס היא לחלץ מראש את כל קובצי ה־PDF לתיקייה מקומית באמצעות ערכת הכלים של olmocr.
from datasets import load_dataset
ds = load_dataset("allenai/olmOCR-mix-1025")הרישיון
הרישיון הוא ODC-BY, שמתיר שימוש, שינוי והפצה בתנאי שניתן קרדיט מתאים ליוצרים. מותר להשתמש במידע גם בפיתוח מודלים כל עוד מייחסים את המקור לפי התנאים, אך המפרסמים מציינים שהמאגר מיועד למחקר ולחינוך בהתאם להנחיות השימוש האחראי של AllenAI.