timit_asr
קוד פתוחtimit-asrother2022-03-02
המאגר כולל הקלטות קול נקיות באנגלית אמריקאית עם תמלול פונטי ומילולי מדויק ומתוזמן. משתמשים בו בעיקר למחקר אקוסטי, זיהוי דוברים ובחינת מודלים של זיהוי דיבור על קריאה מוקפדת.
- 361הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל הקלטות של 630 דוברים המכסים שמונה אזורי ניב עיקריים בארצות הברית. כל דובר מקריא עשרה משפטים שנבחרו כדי לספק עושר פונטי, בפורמט שמע של 16 ביט בתדר 16kHz. לצד קובץ השמע, כל רשומה כוללת תמלול טקסטואלי, פירוק מילים, פירוק לרמת הפונמות, מזהה דובר וסיווג משפט.
ההקלטות בוצעו על ידי חברת Texas Instruments, התמלול בוצע ידנית במכון MIT, וההכנה והאימות נעשו על ידי NIST. המאגר נבנה במקור במאמץ משותף של גופים אלה יחד עם SRI International.
הנתונים מחולקים מראש לסט אימון ולסט בדיקה המאוזנים לפי כיסוי פונטי וניבים. חלק הבדיקה כולל גם תת קבוצה מרכזית של 24 דוברים, שני גברים ואישה אחת מכל אזור ניב.
מתאים ל
- בדיקת מודלים לזיהוי דיבור
מדידת ביצועי תמלול וחישוב שיעור שגיאות מילים מול מדדי ייחוס מוכרים בספרות.
- מחקר אקוסטי ופונטי
ניתוח מנחי הגייה ומיפוי פונמות מדויק בזכות תיוג מתוזמן ברמת צליל בודד.
- אימון מערכות זיהוי דובר
הפרדה בין דוברים שונים על בסיס מזהה ייחודי המשויך למספר הקלטות שונות.
איפה זה נופל
ההקלטות כוללות אנגלית בלבד, ואין כאן אף מילה בעברית או שפות אחרות. הנתונים מתעדים דיבור מוקרא ואיטי באולפן ולא שיחות חופשיות או רעשי רקע של סביבה אמיתית, כך שמודל שיאומן עליהם יתקשה להתמודד עם שמע יומיומי. בנוסף, חל איסור מפורש לנסות לזהות את הדוברים שתרמו את קולם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון של LDC מגביל את הגישה למטרות מחקר בלבד. שימוש מסחרי בקבצים או שילובם במוצר דורש הסדרה מול בעלי הזכויות.
האם המאגר כולל עברית?
לא, כל ההקלטות והתמלולים הם באנגלית אמריקאית בלבד. המאגר מתמקד בשמונה ניבים שונים של דוברי אנגלית מארצות הברית.
למה הפקודה load_dataset לא מורידה את הקבצים לבד?
הקבצים מוגנים בזכויות יוצרים ומאוחסנים בשרתי LDC. יש להירשם לאתר שלהם, להוריד את הקבצים ידנית, ורק אז לטעון אותם מהתיקייה המקומית.
איך נוצרו התיוגים של הקבצים?
התמלולים הטקסטואליים והפונטיים נבדקו ותוקנו באופן ידני על ידי חוקרים ב־MIT. תהליך זה מבטיח דיוק גבוה של סנכרון הזמנים בין הצליל למילים.
איך טוענים
אי אפשר למשוך את השמע ישירות מהרשת בקוד. אתם חייבים לפתוח חשבון באתר LDC, להוריד את הקבצים ידנית למחשב ולחלץ אותם לתיקייה אחת. הטעינה בספריית datasets נעשית תוך ציון הנתיב המקומי לתיקייה באמצעות data_dir. כל רשומה כוללת את מערך השמע המפוענח, הטקסט, נתוני הפונמות ומזהה הדובר. גישה לשדה השמע גורמת לפענוח ולהמרת תדר דגימה, ולכן יש לגשת קודם לאינדקס הדגימה ורק אז לשדה השמע כדי למנוע צוואר בקבוק.
from datasets import load_dataset
ds = load_dataset("timit-asr/timit_asr")הרישיון
המאגר כפוף להסכם המשתמש של Linguistic Data Consortium עבור גופים שאינם חברים. הרישיון מיועד למטרות מחקר בלבד ואינו מתיר שימוש מסחרי. אסור להפיץ את הנתונים המקוריים, ולא ניתן להשתמש בהם כדי לבנות או לאמן מודלים למוצרים מסחריים.