Casablanca
קוד פתוחUBC-NLPcc-by-nc-nd-4.02024-11-12
המאגר מרכז הקלטות ותמלולים בשמונה להגים שונים של ערבית מדוברת. הוא מיועד למי שמפתח זיהוי דיבור וצריך לבדוק איך מודלים מתמודדים עם ערבית אמיתית ולא רק ספרותית.
- 998הורדות בחודש
- 35לייקים
מה זה
המאגר נאסף במאמץ קהילתי כדי לכסות להגים בערבית שבדרך כלל נעדרים מאימון של מערכות קוליות. הוא כולל דגימות דיבור משמונה להגים שונים: אלג'יראי, מצרי, אמירתי, ירדני, מאוריטני, מרוקאי, פלסטיני ותימני. כל רשומה כוללת תמלול מלא של הנאמר, וכן תיוגים של מגדר הדובר, הלהג המדויק ומקרים של החלפת שפות בתוך המשפט.
בגרסה ששוחררה כאן נמצאים אך ורק חלקי הבדיקה והאימות, ללא נתוני אימון. המבנה מחולק לתיקיות לפי מדינות ולהגים, כאשר בכל מדינה יש קובצי אימות ובדיקה נפרדים שנשמרו בפורמט פרקט. החוקרים השתמשו בנתונים האלה כדי להעריך מודלי בסיס לזיהוי דיבור רב להגי, כך שהחלוקה הקיימת מתאימה ישירות לביצוע מבחני השוואה מול תוצאות המחקר המקורי.
מתאים ל
- הערכת מודלי זיהוי דיבור
בדיקת ביצועי תמלול אוטומטי מול שמונה להגים ערביים על בסיס נתוני המבחן המוכנים.
- סיווג להגים בערבית
בדיקת מודלים לזיהוי הלהג המדובר בעזרת תיוגי השפה והמדינה שמצורפים לכל דגימה.
- מדידת עמידות בקוד סוויצ'ינג
הערכת היכולת של מערכות שמע לתמלל דיבור שמשלב מעבר בין ערבית לשפות אחרות.
איפה זה נופל
הבעיה המרכזית היא שאין פה נתוני אימון, אלא רק סטים של ולידציה ובדיקה. אי אפשר לאמן פה מודל מאפס אלא רק להעריך ביצועים. המאגר מוגבל אך ורק לשפה הערבית ולשמונה הלהגים שהוגדרו, ללא שפות נוספות מהאזור כמו עברית. תהליך הסינון המדויק ואיכות ההקלטות אינם מפורטים בכרטיס, ולכן נדרשת בדיקה ידנית של איכות האודיו ורמת הרעש לפני שמשתמשים בתוצאות להחלטות מוצר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון אוסר זאת מפורשות. השימוש מוגבל אך ורק למחקר עצמאי או אקדמי שאינו מיועד למטרות רווח. אם תאמנו מודל מסחרי על הנתונים האלה, תפרו את תנאי השימוש.
האם יש במאגר דגימות בעברית?
לא, המאגר מתמקד כולו בערבית מדוברת. הוא כולל שמונה להגים ספציפיים בלבד: אלג'יראי, מצרי, אמירתי, ירדני, מאוריטני, מרוקאי, פלסטיני ותימני. אין בו נתונים בעברית כלל.
האם אפשר לאמן מודל שלם בעזרת הקבצים האלה?
לא, הגרסה ששוחררה כאן אינה מכילה נתוני אימון. המפרסמים צירפו אך ורק קובצי אימות ומבחן שמיועדים לבדיקה והערכה של מערכות קיימות. כדי לאמן מודל תצטרכו להביא דאטה ממקור אחר.
באילו שדות מטא דאטה אפשר להשתמש לצד התמלול?
הנתונים כוללים תיוג מלא של מגדר הדובר, שיוך ללהג ספציפי וזיהוי של החלפת שפות במהלך הדיבור. השדות האלה מאפשרים לבדוק הטיות מגדריות או לבחון איך המודל מתמודד עם להג מסוים.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית הדאטהסטים באמצעות המזהה של הפרויקט, ללא צורך בהרשמה מיוחדת או אישור גישה ידני. המאגר כולו מורכב מ 32 קובצי פרקט שמחולקים לפי הלהגים השונים, כך שאין צורך להתמודד עם קובצי אודיו גולמיים ומסורבלים ברמת הדיסק.
השדות העיקריים שמעניינים אתכם הם קטעי האודיו, התמלול הטקסטואלי, ומטא דאטה שכולל מגדר, להג והחלפת שפות. אם אתם עובדים על להג בודד, כמו הלהג הפלסטיני או המצרי, אפשר לטעון רק את התת תיקייה הרלוונטית במקום להוריד את כל המדינות יחד.
from datasets import load_dataset
ds = load_dataset("UBC-NLP/Casablanca")הרישיון
הרישיון הוא cc-by-nc-nd-4.0. המשמעות ברורה וחדה: מותר להשתמש בנתונים למחקר בלבד, וחל איסור מוחלט על שימוש מסחרי מכל סוג. בנוסף, חובה לתת ייחוס מתאים ליוצרים, והסעיף של איסור יצירות נגזרות מגביל הפצה של שינויים במאגר. מודל שאומן או כוונן ישירות על החומרים האלה לא יוכל לשמש במוצר מסחרי.