uz-books

מה זה

המאגר כולל טקסטים של כמעט 40000 ספרים בשפה האוזבקית, אשר לוקטו ממקורות שונים ברחבי האינטרנט. הספרים עברו עיבוד מקדים באמצעות מנוע זיהוי התווים Tesseract כדי לחלץ מהם טקסט דיגיטלי נקי ככל האפשר. המבנה מבוסס על שדה טקסט יחיד המכיל את תוכן הספר, ללא מטא נתונים מפורטים על זהות המחברים, שנת ההוצאה או סוגת הכתיבה.

הנתונים מחולקים לשני חלקים שווים בגודלם, כשבכל אחד 39712 רשומות. החלק הראשון מכיל את הטקסטים בצורתם המקורית כפי שנסרקו, הכוללת שילוב של אלפבית לטיני ואלפבית קירילי. החלק השני מציג גרסה לטינית מלאה בלבד, אשר הופקה על ידי המפתחים באמצעות סקריפטים ייעודיים שהמירו את כלל התכנים לכתב לטיני אחיד לצורך מחקר ופיתוח שפתי.

מתאים ל

• אימון מודלי שפה באוזבקית

  אימון מודלים מקדימים ליצירת טקסט או השלמת מילים על גבי עשרות אלפי ספרים בשפה האוזבקית.

• חקר תעתיק בין כתבים

  השוואה ובדיקה של מודלים בין הכתב הקירילי ללטיני בזכות החלוקה לשני הפיצולים במאגר.

• בדיקת שגיאות כתיב

  אימון ובדיקה של כלים לתיקון תחביר ואיות אוזבקי על בסיס קורפוס טקסט רחב היקף.

איפה זה נופל

הטקסטים נאספו באמצעות סריקת OCR אוטומטית עם מנוע Tesseract, תהליך שמייצר שגיאות זיהוי אותיות וקטיעות מילים שלא תמיד סוננו במלואן. בנוסף, חסר מידע בסיסי על מקורות הספרים, זכויות היוצרים הפרטניות שלהם, שנות הפרסום או חלוקה לנושאים. המאגר מוגבל אך ורק לשפה האוזבקית, ואין בו שום תוכן בעברית או באנגלית מלבד דוגמאות בודדות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset רגילה לקבצי parquet, ללא צורך בהרשאת גישה מיוחדת. קבצי המקור הדחוסים שוקלים 16.98 גיגה בייט, אך לאחר פריקה וטעינה המאגר מייצר 32.95 גיגה בייט ודורש בסך הכל כמעט 50 גיגה בייט מקום פנוי בדיסק. המבנה פשוט מאוד ומכיל שדה יחיד בשם text, כך שאין צורך בסינון שדות מורכב.

from datasets import load_dataset

ds = load_dataset("murodbek/uz-books")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב שיתוף של תוצרים או מודלים מאומנים תחת אותו רישיון. נדרש רק לתת קרדיט מתאים ליוצרים המקוריים ולצרף עותק של תנאי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗