CASIA-HWDB2-line
קוד פתוחTekliamit2024-01-12
תמונות של שורות טקסט בכתב יד בסינית עם תמלול צמוד. זה מתאים למי שבונה או בודק מודלים של זיהוי כתב יד ברמת השורה ולא רוצה להתעסק בחיתוך ידני של עמודים שלמים.
- 618הורדות בחודש
- 20לייקים
מה זה
המאגר מכיל דגימות של שורות כתב יד בסינית שנאספו במקור על ידי המעבדה הלאומית לזיהוי תבניות באקדמיה הסינית למדעים. הנתונים הופקו על ידי 1,020 כותבים שונים שהשתמשו בעטי Anoto על גבי נייר, מה שאיפשר לאסוף במקור מידע מקוון ולא מקוון במקביל. Teklia ארגנו את המידע מחדש בפורמט מודרני שמתמקד בשורות בודדות.
הקבצים מחולקים לשלושה חלקים מוכנים של אימון, ולידציה ובדיקה בקובצי פרקט. כל רשומה כוללת תמונת שורה ותמלול הטקסט התואם לה. כל התמונות עברו התאמה מראש לגובה קבוע של 128 פיקסלים, כאשר הרוחב משתנה בהתאם לאורך השורה שנכתבה.
התוכן כולו מבוסס על שורות טקסט עצמאיות בסינית. החלוקה לשורות חוסכת את שלב הסגמנטציה של מסמכים מלאים, אך מגבילה את הניתוח למבנה שורה מבודד בלבד.
מתאים ל
- אימון זיהוי כתב יד
פיתוח מודלי ראייה ממוחשבת שממירים תמונות של שורות כתב יד בסינית לטקסט מוקלד.
- הערכת ביצועי OCR
מבחן ביצועים למודלים קיימים על חלוקות הבדיקה המוכנות מול מגוון רחב של כותבים.
- בדיקת עיבוד שורות מבודדות
אימון שלבי קריאה במערכות OCR אחרי שלב חיתוך השורות ממסמכים מלאים.
איפה זה נופל
הנתונים כולם בסינית בלבד, בלי שום תמיכה בשפות אחרות או בעברית. כל התמונות נדחסו או נמתחו לגובה קבוע של 128 פיקסלים, מה שעלול לפגוע באיכות הפיקסלים או לעוות יחסי גובה-רוחב טבעיים של כתב היד. הנתונים נאספו באמצעות עט מיוחד על נייר ייעודי בתנאי מעבדה מבוקרים, כך שהם לא מייצגים סריקות מציאותיות, דפים מקומטים, רעשי רקע או מסמכים ישנים מהשטח.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן. הדף מציין רישיון MIT שמאפשר שימוש מסחרי חופשי לחלוטין. התנאי היחיד הוא השארת הקרדיט והצהרת הרישיון המקורית של היוצרים.
האם יש במאגר טקסט בעברית?
לא. כל הרשומות והמסמכים במאגר נכתבו בסינית בלבד על ידי כותבים מקומיים. הוא אינו מיועד לעבודה על כתב יד עברי או שפות שאינן סינית.
איך נאסף המידע במקור?
הנתונים נאספו באקדמיה הסינית למדעים בעזרת 1,020 כותבים שכתבו בעטי Anoto על גבי נייר ייעודי. התהליך איפשר לתעד במדויק את תנועת העט לצד יצירת סריקה באיכות גבוהה.
למה התמונות מוגבלות לגובה של 128 פיקסלים?
מי שעיבד והעלה את הדאטהסט ביצע שינוי גודל אחיד לכל השורות כדי להקל על אימון מודלים ברשתות נוירונים. זה נוח לאימון באצוות, אבל חשוב לזכור שזה עלול לייצר עיוותים מסוימים בכתב היד המקורי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות מזהה המאגר. אין צורך באישור גישה או בהרשמה מיוחדת. המידע מחולק לקובצי train, validation ו־test בפורמט פרקט, עם שני שדות בלבד: image ו־text. בעבודה עם התמונות צריך לשים לב שגישה לעמודת התמונה כולה מפענחת את הקבצים בבת אחת ועלולה לתקוע את הזיכרון. עדיף לגשת קודם לאינדקס הרשומה ורק אז לשדה התמונה.
from datasets import load_dataset
ds = load_dataset("Teklia/CASIA-HWDB2-line")הרישיון
המאגר מפורסם תחת רישיון MIT. הרישיון מתיר שימוש חופשי כולל שימוש מסחרי, שינוי של הנתונים והפצה שלהם, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אפשר לאמן עליו מודלים מסחריים בלי חובת שיתוף של הקוד או של המשקולות שנוצרו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש