edacc
קוד פתוחedinburghcstrרישיון לא דווח2024-02-21
40 שעות שיחה מוקלטות באנגלית בין דוברים עם מגוון רחב של מבטאים. הוא נועד לבדוק איפה מודלי תמלול נשברים ברגע שהדובר אינו אמריקאי או בריטי סטנדרטי.
- 1,059הורדות בחודש
- 16לייקים
מה זה
המאגר מכיל שיחות נינוחות בזוגות שהוקלטו דרך זום כדי לייצר דיבור טבעי ככל האפשר. לצד ההקלטות נאסף שאלון רקע מקיף על כל משתתף שכולל שפת אם, גיל תחילת לימוד האנגלית, היסטוריית מגורים, תפיסה עצמית של המבטא ופרטים דמוגרפיים כמו גיל, מגדר והשכלה.
התמלול נעשה בידי מתמללים מקצועיים ותיעד תורות דיבור, דיבור חופף, רעשי רקע, צחוק והיסוסים. כל רשומה כוללת את קובץ השמע, התמלול המדויק, מזהה דובר, מגדר, שפת אם, תיאור המבטא כפי שהוגדר בידי הדובר עצמו וסיווג מבטא אחיד שנקבע על ידי בלשן. המאגר מציג חלוקה שכוללת סטים של בדיקה ואימות.
מתאים ל
- הערכת עמידות מודלי תמלול
מדידת ירידת הדיוק של מודלי שמע קיימים על דוברי אנגלית לא ילידיים.
- סיווג מבטאים ומגדר
אימון וכיול של מודלים לזיהוי מבטא הדובר או המגדר מתוך קובץ שמע קצר.
- בדיקת תמלול שיחות זום
בחינת ביצועי מנוע תמלול על שיחות וידאו עם רעשי רקע וחפיפות דיבור.
איפה זה נופל
ההיקף הכולל עומד על 40 שעות בלבד, מה שהופך אותו למאגר הערכה ולא לבסיס יציב לאימון מודל מאפס. כל השיחות הוקלטו דרך זום, כך שאיכות השמע מוגבלת לדחיסה ולתנאי הרשת של שיחות וידאו. המאגר ממוקד כולו באנגלית במגוון מבטאים ואינו מכיל עברית, והוא משקף רק שיחות זוגיות חופשיות ולא פקודות קוליות או קריאת טקסטים מוכתבים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הכרטיס מציין רישיון מסוג CC-BY-SA 4.0 שמתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה. המשמעות היא שאם תשנו את המאגר או תפיצו נגזרת שלו, תצטרכו לשחרר אותה תחת אותו רישיון פתוח. בנוסף, בראש הדף הרישיון מסומן כלא ידוע, מה שעלול לייצר אי-ודאות משפטית מול משקיעים.
כמה שעות שמע יש במאגר ואיך הוא נאסף?
המאגר כולל בסך הכל 40 שעות שיחה באנגלית. כל ההקלטות נאספו משיחות חופשיות בין זוגות משתתפים שהתקיימו דרך פלטפורמת זום. לאחר השיחה מילא כל משתתף שאלון סוציו-דמוגרפי ולשוני מפורט.
האם הדאטהסט כולל הקלטות בעברית?
המאגר מוקדש כולו לשפה האנגלית ואין בו שיחות בעברית. עם זאת, הוא מכיל דוברי אנגלית כשפה שנייה מרקעים שונים ומגוונים. ייתכן שחלק מהמבטאים מייצגים דוברי שפות שמיות, אך השפה המדוברת בפועל היא תמיד אנגלית.
מה ההבדל בין שדה accent לבין raw_accent?
שדה raw_accent מכיל את תיאור המבטא בדיוק כפי שהדובר הגדיר אותו במילותיו בשאלון. לעומת זאת, שדה accent עבר סטנדרטיזציה ומיון לקטגוריות אחידות על ידי בלשן מוסמך. ההפרדה הזו מאפשרת אימון מודלים על תוויות נקיות בלי לאבד את ההגדרה המקורית של הדובר.
איך טוענים
הטעינה מתבצעת ישירות דרך פייתון עם פקודת load_dataset הרגילה, ללא צורך בהרשאת גישה מיוחדת. הנתונים שמורים בקובצי parquet שכוללים שמע מקודד בדגימה של 32,000 הרץ. חשוב לשלוף קודם את מספר הדגימה ורק אז את עמודת השמע כדי להימנע מפענוח כבד של כל הקבצים בבת אחת, או להשתמש במצב הזרמה לקריאת רשומה בודדת בכל פעם.
from datasets import load_dataset
ds = load_dataset("edinburghcstr/edacc")הרישיון
בטבלת המטא-דאטה של המאגר לא דווח רישיון רשמי, אך בטקסט התיאור מצוין רישיון CC-BY-SA 4.0. המשמעות היא שמותר להשתמש בנתונים למטרות מסחריות ומחקריות בכפוף למתן קרדיט, אך כל יצירה נגזרת או מאגר משופר שתפיצו חייבים להשתחרר תחת אותו רישיון חופשי בדיוק, מה שמקשה על שילובו במוצרים קנייניים סגורים.