tarteel-ai-everyayah-Quran
קוד פתוחSalama1429mit2023-06-07
מעל אלף שעות של הקלטות קוראן מנוקדות בערבית עם תמלול מלא. המאגר מציע קולות של 36 קוראים שונים ומיועד לאימון מודלי זיהוי דיבור.
- 1,082הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל קובצי שמע של פסוקי קוראן לצד תמליל מדויק הכולל ניקוד מלא בערבית. הנתונים מחולקים בין 36 קוראים מוכרים, כאשר כל רשומה כוללת את מערך האודיו שנדגם בתדר של 16 קילוהרץ, משך הזמן בשניות, שם הקורא והטקסט התואם לפסוק.
החלוקה הפנימית מוגדרת מראש לשלושה חלקים מסודרים. אימון כולל 187,785 רשומות בהיקף של כמעט 830 שעות שמע, מבחן כולל 23,473 רשומות שהן כ־104 שעות, ואימות כולל 23,474 רשומות בהיקף דומה של כ־103.5 שעות. בסך הכל המאגר מגיע ליותר מ־1,037 שעות שמע מתוזמנות היטב.
כרטיס הדאטהסט לא מפרט על תהליך האיסוף, הסינון, או על זהות המתייגים, ומפנה בעיקר לאתר המיזם של טרטיל. כל הנתונים מרוכזים סביב פסוקים בודדים בלבד, ללא שיח ספונטני או רעשי רקע מורכבים.
מתאים ל
- אימון מודלי ASR בערבית
בניית מנועי תמלול ייעודיים לערבית ספרותית וטקסטים דתיים מנוקדים.
- הערכת ביצועי מודלים
בדיקת דיוק תמלול על מבחן מובנה של יותר ממאה שעות שמע.
- זיהוי דוברים
אימון מערכות לסיווג וזיהוי קולות מתוך מאגר של 36 קוראים שונים.
איפה זה נופל
ההקלטות כולן בערבית קוראנית קלאסית שמבוצעת בסגנון קריאה דתי מדויק. אין כאן ערבית מדוברת, דיאלקטים שונים או שיחות יומיומיות, כך שמודל שיאומן עליו יתקשה מאוד להבין דיבור רגיל. בנוסף, כל 36 הקוראים הם גברים מוכרים בתחום, ואין במאגר ייצוג לנשים או לילדים. כרטיס הדאטהסט משאיר סעיפים רבים ריקים בנוגע להטיות, סינון רעשים, מקור ההקלטות ורגישות המידע, ולכן צריך לבדוק ידנית את איכות ההקלטה ואיזון הדוברים לפני שמסתמכים עליו.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. כל קובצי השמע והתמלולים הם בערבית בלבד. אין במאגר שום ייצוג לשפות אחרות או לתרגומים.
האם מותר להשתמש בדאטהסט לפיתוח מסחרי?
כן. המאגר מוגדר תחת MIT במטא-דאטה ותחת CC BY 4.0 בכרטיס עצמו. שני הרישיונות מאפשרים שימוש מסחרי, אך חובה לתת ייחוס מתאים ליוצרים.
האם הדאטהסט מתאים לאימון עוזר קולי לערבית מדוברת?
לא מומלץ. הנתונים מבוססים על קריאה דתית של פסוקי קוראן בהגייה מדויקת מאוד. מודל שיאומן על החומר הזה יתקשה להבין ערבית מדוברת בניבים מקומיים או בסביבה רועשת.
כמה שעות שמע יש במאגר בסך הכל?
במאגר יש קצת יותר מ־1,037 שעות שמע שמחולקות בין שלושת החלקים. חלק האימון לבדו כולל קרוב ל־830 שעות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות פקודת load_dataset עם המזהה Salama1429/tarteel-ai-everyayah-Quran. בכרטיס ממליצים להוסיף את הפרמטר verification_mode="no_checks". המאגר מחולק לכ־192 קובצי פרקט בתיקיית המידע. הגישה חופשית ואינה דורשת אישור מיוחד. בעבודה עם שדה האודיו חשוב לגשת קודם לאינדקס של הרשומה ורק אז לשדה עצמו כדי למנוע פענוח ודגימה מחדש של קבצים רבים בבת אחת, תהליך שעלול לתקוע את הזיכרון.
from datasets import load_dataset
ds = load_dataset("Salama1429/tarteel-ai-everyayah-Quran")הרישיון
ישנה סתירה בין המטא-דאטה שמציין רישיון MIT לבין גוף הטקסט שמזכיר רישיון CC BY 4.0. שני הרישיונות מתירים שימוש מסחרי ומחקר חופשי בכפוף למתן קרדיט מתאים. הם אינם מחייבים שיתוף באותו רישיון עבור מודלים שמאומנים על המאגר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש