tadabur

מה זה

המאגר מכיל מעל 365,000 קטעי שמע בערבית שמכסים את כל פסוקי הקוראן. כל רשומה כוללת קובץ אודיו בודד של פסוק יחד עם מטא-דאטה במבנה JSON. הנתונים מציגים מזהה קריין, מספרי סורה ופסוק, משך זמן, תמלול פשוט ותמלול עות'מאני מנוקד, לצד חותמות זמן מדויקות לכל מילה.

איסוף ההקלטות התבצע ממאגרים וארכיונים ציבוריים ברשת. חומרי הגלם עברו עיבוד אוטומטי מלא שכלל חילוץ פרטי הסורות והקריינים באמצעות מודל שפה, יישור זמנים ברמת המילה בעזרת WhisperX, זיהוי נקודות עצירה וחיתוך לפסוקים, וסינון שכלל בדיקות זיהוי דיבור והסרת כפילויות. חלק מהקריינים מופיעים מספר פעמים עבור אותם הפסוקים כדי לתפוס שונות טבעית בסגנונות קריאה כמו מורתל ומג'ווד.

מתאים ל

• אימון מודלי תמלול ייעודיים

  התאמת מודלי דיבור לטקסט לצורך זיהוי מדויק של קריאה קוראנית וכללי הגייה מורכבים.

• זיהוי דוברים וקריינים

  סיווג וזיהוי קולות של מעל 600 קריינים שונים בתנאי הקלטה מגוונים.

• מדידת ביצועים של מודלי שמע

  בדיקת שיעור שגיאות מילים במודלים קיימים על פני סגנונות קריאה מסורתיים.

איפה זה נופל

כל תהליך העיבוד, הניקוד ויישור הזמנים מבוסס על מודלים אוטומטיים כמו מודלי שפה ו־WhisperX, ללא אימות אנושי ידני מדווח. משמעות הדבר היא שייתכנו שגיאות תזמון או חיתוך. המאגר מוגבל לשפה הערבית ולטקסט קוראני בלבד, כך שהוא לא יעזור לזיהוי ערבית מדוברת יומיומית. בנוסף, יש הגבלות שימוש מוסריות סביב שמירה על כבוד הטקסט הדתי ואיסור על יצירת מודלים שמייצרים עיוות או זיוף של הקריאה.

איך טוענים

המאגר מאוחסן בפורמט Parquet ומחולק על פני מאות קבצים, כך שרצוי לעבוד עם טעינה בסטרימינג או להכין מראש נפח אחסון גדול. הגישה פתוחה ואין צורך באישור ידני. השדות המרכזיים לעיבוד הם קובץ השמע, מזהה הקריין, שני סוגי התעתיקים והמערך שמכיל את תזמוני המילים.

from datasets import load_dataset

ds = load_dataset("FaisaI/tadabur")

הרישיון

הרישיון הוא CC BY-NC 4.0 שמתיר שימוש למחקר, לימוד וצרכים אקדמיים בלבד, ומחייב מתן קרדיט מלא ליוצר. שימוש מסחרי מכל סוג אסור בהחלט. אימון מודל על הנתונים האלה מכפיף אותו לאותן מגבלות, כך שלא תוכלו למכור שירות או מוצר שמבוסס עליו.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗