english_dialects
קוד פתוחylacombecc-by-sa-4.02023-11-25
המאגר מרכז 31 שעות אודיו מתועד של מבטאים בריטיים ואיריים מפי 120 דוברים. הוא פותר את בעיית המחסור בדאטה ייעודי למודלי קול וזיהוי דיבור שמתקשים עם אנגלית שאינה אמריקאית סטנדרטית.
- 922הורדות בחודש
- 37לייקים
מה זה
הנתונים מבוססים על קובץ מקורי מבית OpenSLR ומחקר של גוגל מ־2020, כאשר המשתמש ylacombe סידר אותם מחדש בפורמט Parquet כדי להקל על הזרמה. כל רשומה כוללת דגימת אודיו בקצב של 48kHz, טקסט תואם, מזהה דובר ומזהה שורה. ההקלטות מגיעות ממתנדבים שהעידו על עצמם כדוברי אנגלית מקומית מאזורים שונים: דרום אנגליה, מרכז אנגליה, צפון אנגליה, ויילס, סקוטלנד ואירלנד.
הטקסטים נבחרו בכוונה כדי לעורר תופעות פונטיות מגוונות, כולל שמות חברות תעופה, מקומות בעולם ומילים ייחודיות לאזורים השונים. בנוסף, ישנם משפטים חופפים בין דוברים שונים, שמטרתם לאפשר השוואה ישירה בין מבטאים ואידיולקטים, בדומה למאגרים כמו VCTK.
מתאים ל
- כיול מודלי TTS למבטאים
כיוונון עדין של מודלי יצירת קול כדי להפיק דיבור במבטא אירי, וולשי, סקוטי או אנגלי אזורי.
- בדיקת שגיאות במודלי זיהוי
מדידת ביצועי WER של מנועי זיהוי דיבור קיימים מול הגייה מקומית של האיים הבריטיים.
- זיהוי דוברים ומבטאים
אימון מסווגים שמזהים אזור מוצא לפי שונות פונטית, תוך שימוש במשפטים זהים שנאמרו על ידי דוברים שונים.
איפה זה נופל
ההיקף הכולל עומד על 31 שעות בלבד מ־120 מתנדבים, כך שהוא קטן מדי לאימון מודל בסיס רחב ומתאים בעיקר לכיוונון עדין או הערכה. החלוקה הגיאוגרפית מסתמכת על דיווח עצמי של המשתתפים. הכרטיס לא מספק מידע על סינון רעשים, תנאי ההקלטה או פרטים דמוגרפיים מעבר לאזור ומגדר. כמו כן, קיים איסור מפורש לנסות לזהות את זהות הדוברים שהקליטו את הקטעים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי סגור?
הרישיון הוא CC BY-SA 4.0, שדורש שיתוף זהה עבור עבודות נגזרות. אימון מודל עשוי להיחשב יצירה נגזרת ולחייב את הפצת המודל ברישיון זהה. לחברות שמפתחות קניין רוחני סגור, מומלץ לבדוק זאת משפטית לפני השימוש.
האם יש במאגר דגימות בעברית?
לא. המאגר כולל אך ורק דוברי אנגלית מקומיים מאנגליה, סקוטלנד, ויילס ואירלנד. אין בו ייצוג לשפות אחרות או לערבוב שפות.
איך המאגר הזה שונה מ־OpenSLR 83 המקורי?
התוכן מבוסס על אותו מקור נתונים ועל המחקר מ־2020. ההבדל הוא במבנה, הקבצים כאן אורגנו מחדש לפורמט Parquet כדי לאפשר טעינה ישירה והזרמה נוחה דרך Hugging Face ללא צורך בהורדת ארכיונים שלמים ידנית.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets בפייתון, ללא צורך בהרשאת גישה מיוחדת או אישור מקדים. המאגר מחולק לקונפיגורציות לפי אזור ומגדר, כמו irish_male או midlands_female, כך שניתן למשוך רק את החלק הרלוונטי. אפשר להוריד את הקבצים או להשתמש בהזרמה עם streaming=True כדי לחסוך מקום בדיסק. השדות המרכזיים הם audio שמכיל את המערך והקצב, ו־text שמכיל את התמלול.
from datasets import load_dataset
ds = load_dataset("ylacombe/english_dialects")הרישיון
המאגר מופץ תחת רישיון CC BY-SA 4.0. הרישיון מתיר שימוש מסחרי, אך מחייב מתן קרדיט ושיתוף של כל יצירה נגזרת תחת אותו רישיון בדיוק. אם אתם מאמנים מודל על הנתונים הללו, סעיף ה־ShareAlike עשוי לחייב אתכם לשחרר את משקלי המודל או את הנגזרות תחת אותו רישיון פתוח, נקודה שחוסמת לרוב שימוש במוצרים קנייניים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון