arabic_speech_corpus
קוד פתוחhalabi2016cc-by-4.02022-03-02
הקלטות אולפן בערבית ספרותית במבטא דמשקאי עם תמלול מלא ופונטי. המאגר נבנה במקור למחקר סינתזת דיבור, ולכן הוא מתאים במיוחד למי שמחפש אודיו נקי ומנוקד.
- 413הורדות בחודש
- 38לייקים
מה זה
המאגר כולל הקלטות באיכות אולפן של דובר יחיד בעל מבטא סורי דמשקאי, שמקריא טקסטים בערבית ספרותית. הטקסטים נאספו מהאינטרנט מתחומי חדשות, ספורט וכלכלה, ונבחרו כך שיכילו ניקוד מלא כדי להקל על עבודת הסימול וההתאמה. חלק מההקלטות כולל גם משפטי ג'יבריש שנוצרו במחשב כדי להרחיב את המגוון הפונטי ולכסות צירופי צלילים חסרים.
התוויות נוצרו באמצעות יישור אוטומטי של פונמות בעזרת כלי HTK, ולאחר מכן נבדקו ותוקנו ידנית על ידי שלושה בודקים, בהם החוקר ושני מורים לשפה הערבית. הנתונים מחולקים לשני חלקים בלבד, אימון שכולל 1,813 דגימות, ובדיקה שכוללת 100 דגימות. כל רשומה כוללת את קובץ האודיו, התמלול הרגיל, ייצוג פונטי וייצוג אורתוגרפי.
מתאים ל
- אימון מודל הקראה
איכות האולפן והתמלול הפונטי המדויק מתאימים מאוד לפיתוח מערכות טקסט לדיבור בקול גברי בערבית.
- בדיקת זיהוי דיבור נקי
הקלטות נקיות ברמת אולפן מאפשרות להעריך ביצועי מודלי תמלול בתנאי מעבדה אופטימליים ללא רעש.
- ניקוי רעשים מאודיו
אודיו מבודד ואיכותי יכול לשמש כאות מקור נקי לצורך אימון אלגוריתמים של סינון רעשים בדיבור.
איפה זה נופל
ההגבלה הבולטת ביותר היא שההקלטות שייכות לדובר יחיד, גבר בעל מבטא דמשקאי, כך שהמאגר לא מייצג מגוון קולות, מגדרים או ניבים שונים בערבית. בנוסף, חלק מההקלטות מכיל משפטים מלאכותיים חסרי משמעות, והמחבר עצמו ציין בעבודת הדוקטורט שיעילותם לא הוכחה. לא הייתי בונה על המאגר הזה כבסיס יחיד למערכת זיהוי דיבור כללית, כי מודל שילמד רק עליו יתקשה מאוד בעולם האמיתי מול רעשי רקע ודוברים שונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 שמתיר שימוש מסחרי מלא. התנאי היחיד הוא מתן קרדיט ליוצר, ושמירה על האנונימיות של הדובר שהקליט את הטקסטים.
האם המאגר כולל עברית או שפות נוספות מלבד ערבית?
לא, כלל הנתונים מוקלטים בערבית בלבד. הטקסטים מבוססים על ערבית ספרותית והוקראו במבטא סורי מקומי.
איך נאסף החומר והאם הוא טבעי לגמרי?
הטקסטים לוקטו מאתרי חדשות וכלכלה ברשת, אך עברו סינון קפדני של ניקוד מלא. בנוסף, חלק מהמשפטים יוצרו במחשב כדי להשלים פונמות חסרות ולא מייצגים שפה טבעית.
במה הוא שונה ממאגרי זיהוי דיבור גדולים?
הוא קטן בהרבה, סביב 1,900 משפטים מדובר אחד בלבד, ונבנה במקור עבור סינתזה ולא עבור זיהוי. הוא מספק איכות אולפן מעולה ותיוג פונטי אנושי, אך חסר מגוון של דוברים ורעשי סביבה.
איך טוענים
טוענים את הדאטהסט ישירות דרך ספריית datasets באמצעות המזהה halabi2016/arabic_speech_corpus, ואין צורך לבקש אישור גישה מוקדם. האודיו נשמר בפורמט wav. השדות העיקריים בכל דגימה הם audio שמכיל את המערך המפוענח וקצב הדגימה, לצד text, phonetic ו־orthographic. עקב אופן הפיענוח, מומלץ לגשת קודם לאינדקס של הדגימה ורק אחר כך לשדה האודיו כדי למנוע טעינה איטית של קבצים רבים בבת אחת.
from datasets import load_dataset
ds = load_dataset("halabi2016/arabic_speech_corpus")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש חופשי, כולל שימוש מסחרי, שינוי של הנתונים ושילובם במודלים אחרים, כל עוד נותנים קרדיט מתאים ליוצר. תנאי השימוש כוללים התחייבות מפורשת שלא לנסות לחשוף את זהותו של הדובר שהקליט את החומרים, בהתאם להסכם עמו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס