muharaf-public

מה זה

הנתונים כוללים 24,495 תמונות שורה חתוכות של כתב יד בערבית, ולכל אחת מוצמד הטקסט התואם שלה. מדובר בחומרים שנאספו מתוך כתבי יד שנכתבו בין המאה ה־19 למאה ה־21, כך שהם מכסים מגוון סגנונות כתיבה על פני תקופה של כשלוש מאות שנה. העבודה הזו הוצגה במקור במסלול המאגרים של כנס NeurIPS 2024.

המאגר מחולק לקובצי Parquet לפי חלוקה קלאסית של אימון, ולידציה ובדיקה. סט האימון נפרס על פני שלושה קבצים, בעוד שסט הוולידציה וסט הבדיקה מכילים קובץ יחיד כל אחד. החומרים מתמקדים בערבית בלבד ברמת השורה הבודדת, ללא פסקאות שלמות או עמודים מלאים.

מתאים ל

• אימון זיהוי כתב יד

  אימון מודלי ראייה לשפה להמרת תמונות שורה בערבית לטקסט ממוחשב.

• בדיקת ביצועי OCR

  בנצ'מרק והערכת מודלים קיימים מול כתבי יד ערביים מהמאות האחרונות.

• מחקר בלשני והיסטורי

  ניתוח דיגיטלי ומחקר אקדמי של מסמכים וכתבי יד היסטוריים בערבית.

איפה זה נופל

המאגר מוגבל לשפה הערבית בלבד ולא כולל שפות שמיות אחרות או עברית. התמונות מציגות שורות בודדות חתוכות מתוך כתבי יד בין המאה ה־19 למאה ה־21, ולכן הוא לא מתאים למשימות של ניתוח מבנה עמוד שלם או זיהוי כתיבה מוקדמת יותר. מעבר לכך, הכרטיס לא מפרט על איכות הסריקות, סוגי הנייר, מצב השימור של הכתבים או חלוקת הכותבים המדויקת.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה פשוטה עם המזהה aamijar/muharaf-public. אין צורך לבקש אישור גישה מראש והמאגר פתוח להורדה. החומרים יושבים בקובצי Parquet ומכילים שדות תמונה וטקסט. המפרסמים מדגישים שכדאי לגשת ישירות לאינדקס של השורה לפני שליפת התמונה, כדי לא לחייב את המחשב לפענח את כל התמונות בזיכרון בבת אחת.

from datasets import load_dataset

ds = load_dataset("aamijar/muharaf-public")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שאסור להשתמש בנתונים למטרות מסחריות כלשהן. בנוסף, חובה לתת קרדיט ליוצרים המקוריים מ־NeurIPS 2024, וכל נגזרת או מודל שמשוחרר ומבוסס על הנתונים חייב להיות מופץ תחת אותו רישיון בדיוק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗