SADA22
קוד פתוחMohamedRashadcc-by-nc-sa-4.02025-05-02
מאגר קול מתוזמן בערבית שמביא מעל שש מאות שישים ושבע שעות דיבור. הפוקוס המרכזי כאן הוא ניבים סעודיים מתועדים לצורכי זיהוי ויצירת דיבור.
- 1,424הורדות בחודש
- 28לייקים
מה זה
הנתונים כוללים הקלטות אודיו בערבית יחד עם תמלול מקורי וגרסה מנורמלת שלו. המקור הוא תוכניות טלוויזיה של רשות השידור הסעודית, ביותר מחמישים ושבע תוכניות שונות. המרכז הלאומי לבינה מלאכותית בסעודיה חתך את ההקלטות ותמלל אותן ידנית כדי להתאים אותן למודלים חישוביים.
לצד הטקסט והאודיו, כל רשומה מגיעה עם תיוגים דמוגרפיים: קבוצת גיל כמו מבוגר או קשיש, מגבר, וסיווג הניב המדובר, בעיקר נג'די, חיג'אזי וח'ליג'י. אם המידע לא זוהה בוודאות, השדות מוגדרים כלא ידועים. המאגר מחולק לשני חלקים ברורים: חלק אימון שמכיל בערך שש מאות ארבעים ושבע שעות, וחלק בדיקה ופיתוח שמכיל כעשרים שעות בלבד.
מתאים ל
- זיהוי דיבור בניבים סעודיים
אימון ובדיקה של מודלי ASR על דיבור טבעי בניב נג'די, חיג'אזי וח'ליג'י מתוך תוכניות טלוויזיה.
- סיווג ניבים ומגדר
פיתוח מודלים לזיהוי הניב המדובר או סיווג גיל ומגדר הדובר על בסיס התיוג הידני.
- סינתזת דיבור בערבית
בניית מודלי טקסט לדיבור הודות לצימוד בין טקסט נקי לשמע מתוזמן של דוברים שונים.
איפה זה נופל
המאגר מוגבל אך ורק לערבית, וספציפית לניבים של חצי האי ערב. מי שמחפש עברית, ערבית ספרותית סטנדרטית או ניבים מצריים ולבנטיניים לא ימצא כאן מענה. מעבר לכך, כל החומר הוקלט באולפני טלוויזיה, כך שהוא פחות מייצג שיחות רחוב רועשות או שיחות טלפון באיכות נמוכה. חלק מהרשומות כוללות תיוג לא ידוע בגיל, במגדר או בניב, מה שמחייב סינון מקדים אם מאמנים מסווגים ייעודיים.
שאלות
נפוצות
האם מותר להשתמש במאגר במוצר מסחרי?
לא, הרישיון הוא CC-BY-NC-SA 4.0 שמונע במפורש כל שימוש מסחרי. המאגר מיועד אך ורק למחקר, הערכה אקדמית וניסויים פנימיים.
האם יש במאגר דאטה בעברית?
אין בו עברית כלל. כל ההקלטות והתמלולים הם בשפה הערבית, בדגש על ניבים מקומיים מסעודיה.
מאיפה נאספו ההקלטות?
החומר הגיע מיותר מחמישים ושבע תוכניות טלוויזיה של רשות השידור הסעודית. המרכז הלאומי לבינה מלאכותית בסעודיה ביצע את החיתוך והתמלול הידני.
איך טוענים
המאגר יושב בקובצי Parquet, עם עשרים ותשעה קבצים לחלק האימון וקובץ בודד לבדיקה. אפשר לטעון אותו ישירות בספריית datasets דרך המזהה MohamedRashad/SADA22, ללא צורך באישור גישה מקדים. שדות המפתח שמעניינים אתכם הם audio, שכולל את קובץ הקול הגולמי, וטקסט התמלול שנמצא גם בעמודת text וגם בגרסה מנוקה בתוך cleaned_text לצורכי למידה.
from datasets import load_dataset
ds = load_dataset("MohamedRashad/SADA22")הרישיון
הרישיון הוא CC-BY-NC-SA 4.0. המשמעות ברורה: שימוש מסחרי אסור לחלוטין. מותר להשתמש במאגר למחקר ולפיתוח אישי, אך חובה לתת קרדיט ליוצרים. אם משנים את המאגר או מאמנים עליו ומשחררים גרסה נגזרת, חייבים להפיץ אותה תחת אותם תנאי רישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא