IAM-line

מה זה

המאגר כולל תמונות של שורות בודדות הכתובות בכתב יד באנגלית, לצד התמלול המדויק שלהן. המקור הוא מאגר IAM הוותיק, שמבוסס על טפסים מלאים שכותבים שונים מילאו. Teklia לקחו את החומר הזה, חתכו אותו לרמת השורה והמירו אותו לפורמט מודרני שמתאים לעבודה ישירה בהאגינג פייס.

העיבוד הטכני כאן כולל התאמה של כל התמונות לגובה אחיד של 128 פיקסלים, בעוד הרוחב משתנה בהתאם לאורך השורה המקורית שנכתבה. המאגר מחולק לשלושה קבצים סטנדרטיים של אימון, ולידציה ובדיקה, כך שאין צורך לבצע חלוקה ידנית לפני שמתחילים להריץ ניסויים.

כל דגימה מכילה רק שני שדות, תמונת השורה והטקסט שנכתב בה. המטרה של המבנה הזה היא לתת נקודת מוצא פשוטה לפיתוח מערכות זיהוי כתב יד, בלי להתעסק בזיהוי מיקום השורות בדף המלא או בחיתוך מורכב של מסמכים שלמים.

מתאים ל

• אימון זיהוי כתב יד

  אימון מודלים שמקבלים תמונת שורה בודדת ופולטים את הטקסט הכתוב בה באנגלית.

• מבחן ביצועים למודלים

  שימוש בחלוקת המבחן המובנית כדי להשוות ביצועים מול תוצאות מוכרות בספרות המחקרית.

• זיהוי כותב

  ניתוח מאפייני הכתיבה בשורות השונות לצורך אימות או זיהוי של האדם שכתב את הטקסט.

איפה זה נופל

החומר מכיל אך ורק אנגלית, כך שאין כאן שום תועלת לפיתוח מודלים לכתב יד בעברית. בנוסף, העובדה שכל התמונות הוקטנו או הוגדלו לגובה קבוע של 128 פיקסלים עלולה לפגוע ביחס הגבהים של האותיות ובאיכות הטקסט. אם המוצר שלכם צריך להתמודד עם מסמכים שלמים, תצטרכו מודל נפרד שיחתוך את השורות מהדף.

איך טוענים

הטעינה מתבצעת ישירות מקובצי פרקט שמחולקים לאימון, בדיקה ואימות, ללא צורך בהרשמה מוקדמת או אישור גישה. המאגר כולל שני שדות בלבד, תמונה ותמלול. מפתחי המאגר מזהירים שפענוח התמונות מתרחש בזמן אמת בעת הגישה לשדה התמונה, ולכן גישה ישירה לכל עמודת התמונות בבת אחת תיצור צוואר בקבוק כבד בזיכרון.

from datasets import load_dataset

ds = load_dataset("Teklia/IAM-line")

הרישיון

המאגר פורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית, ואינו כופה עליכם לחשוף את קוד המודל שתאמנו עליו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗