thai_handwriting_dataset

מה זה

המאגר מאחד שני מקורות שונים של כתב יד בתאילנדית לתוך קובצי פארקט אחידים. החלק הראשון יושב בקובץ train-0000 ומגיע מתחרות BEST 2019, שם התמונות עברו עיבוד והתאמה למשימות למידת מכונה עם תמלול מלא של הטקסט שנכתב בהן.

החלק השני, שמתחיל מקובץ train-0001 והלאה, מבוסס על המאגר החופשי של Wang. החלק הזה מתמקד במשפטים שלמים ומכיל 4,920 משפטים ייחודיים בנושאים מגוונים. הוא נאסף מ־2,026 כותבים שונים, מה שמביא סגנונות כתיבה מגוונים, מבנים לשוניים שונים ואוצר מילים רחב.

כל שורה במאגר מכילה את תמונת כתב היד עצמה, את מחרוזת הטקסט המייצגת את התמלול הנכון, ואת שם קובץ התיוג המקורי שממנו הנתון הגיע.

מתאים ל

• אימון זיהוי כתב יד

  פיתוח מודלים של OCR לקריאת תמונות המכילות משפטים ומילים בכתב יד תאילנדי.

• הערכת ביצועי מודלים

  בדיקת דיוק של מנועי פענוח טקסט מול סגנונות כתב של אלפי כותבים שונים.

• יצירת כתב יד סינתטי

  אימון מודלים מסוג text-to-image ליצירת דוגמאות כתב יד בתאילנדית לפי טקסט נתון.

איפה זה נופל

המאגר מוגבל לשפה התאילנדית בלבד, בלי שום ייצוג לשפות אחרות. מעבר לכך, חלק אחד מבוסס על תחרות מ־2019 והשני על תרומות של אלפי משתמשים, אבל הכרטיס לא מפרט באילו תנאים המשתמשים כתבו, מה איכות המצלמות או הסורקים, ואיזה סינון הופעל על התוכן. לפני שמכניסים אותו למודל עבודה, חובה לבדוק ידנית את איכות התמונות והתמלולים בחלקים השונים כדי לוודא שרמת הרעש מתאימה ליעדים שלכם.

איך טוענים

טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה שלו בהאגינג פייס. הגישה פתוחה לגמרי ואין צורך בהרשאה מיוחדת או בטופס מקדים. הנתונים מחולקים על פני עשרות קובצי פארקט, בסך הכל 107 קבצים במאגר, כך שכדאי להשתמש בסטרימינג אם רוצים רק לדגום בלי להוריד את הכל מראש. העמודות שמעניינות אתכם הן image ו־text בלבד.

from datasets import load_dataset

ds = load_dataset("iapp/thai_handwriting_dataset")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד אתם שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן דרישה לפתוח את הקוד שלכם או לשתף מודל שאומן על הנתונים תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗