legacy-datasets/ami
קוד פתוחlegacy-datasetscc-by-4.02022-03-02
המאגר מרכז 100 שעות מוקלטות של פגישות באנגלית עם תמלול מלא. הוא נותן מענה מצוין למי שבונה מודלים לזיהוי דיבור או חלוקת דוברים בסביבה משרדית מרובת ערוצים.
- 275הורדות בחודש
- 25לייקים
מה זה
הנתונים כוללים פגישות שלמות שנמשכות בין עשר דקות לשעה כל אחת. ההקלטות נעשו בשלושה חדרים בעלי אקוסטיקה שונה, תוך שימוש במערכי מיקרופונים רחוקים לצד אוזניות אישיות לכל משתתף. רוב המשתתפים שנרשמו אינם דוברי אנגלית כשפת אם, מה שמייצר גיוון במבטאים על פני ציר זמן משותף ומסונכרן.
המבנה מחולק לארבע תצורות הקלטה: ערוץ יחיד מאוזניות, ארבעה ערוצים נפרדים מאוזניות, ערוץ בודד ממיקרופון מרוחק ומערך של שמונה ערוצי מיקרופון. כל תצורה מחולקת לסט אימון של 136 קבצים, סט אימות של 18 קבצים וסט בדיקה של 16 קבצים. רשומות המידע מכילות את קובץ הקול, תמלול המילים, זמני התחלה וסיום ברמת המילה והמקטע, וכן מזהי דוברים.
מתאים ל
- זיהוי דיבור בפגישות
אימון ובדיקת מודלי ASR על שיחות משרדיות טבעיות באנגלית, תוך שימוש באודיו קרוב ונקי מאוזניות אישיות.
- חלוקת דוברים
פיתוח מערכות זיהוי זמני דיבור של כל משתתף בעזרת חותמות הזמן המפורטות ברמת המילה והסגמנט.
- התמודדות עם רעש סביבתי
בחינת עמידות מודלים לאודיו מאתגר דרך הקלטות ממערכי מיקרופונים רחוקים בחדרים שונים.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד, ואין בו ייצוג לשפות אחרות כולל עברית. רוב הדוברים הם זרים שמדברים אנגלית, כך שהוא פחות מתאים לכיול מערכות שמכוונות לאנגלית מקומית מושלמת. מעבר לכך, הכרטיס הנוכחי מיושן, פרטים רבים על תהליך הסינון חסרים בו, והקבצים הארוכים דורשים עיבוד מקדים משמעותי כדי למנוע עומסי זיכרון בזמן הפענוח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון המוגדר הוא CC BY 4.0 שמאפשר שימוש מסחרי חופשי. צריך לתת ייחוס ליוצרים, ויש התחייבות לא לנסות לחשוף את זהות המשתתפים.
האם יש במאגר הזה הקלטות בעברית?
לא. כל 100 שעות ההקלטה הן באנגלית בלבד. חלק גדול מהמשתתפים אינם דוברי אנגלית כשפת אם, אך שפת הדיבור בפועל היא אנגלית.
למה מופיעה אזהרה שהמאגר אינו עדכני?
הריפו מוגדר כמאגר ישן של legacy-datasets. הכרטיס מפנה באופן רשמי לעבודה מול הגרסה העדכנית שיושבת תחת edinburghcstr/ami.
האם אפשר להזין את קובצי הקול ישירות למודל?
לא מומלץ בכלל. הקבצים מגיעים כהקלטות מלאות של 10 עד 60 דקות, ולכן חובה לחתוך אותם למקטעים קצרים לפי חותמות הזמן שמגיעות עם הדאטה.
איך טוענים
טוענים את המאגר דרך הקוד המצורף ami.py, אבל שימו לב שהגרסה הזו מוגדרת רשמית כישנה וכבר לא מתוחזקת, והעמוד ממליץ לעבור לגרסה של edinburghcstr. אין צורך באישור גישה מראש, אך הדגימות מגיעות כהקלטות ארוכות מאוד של עד 60 דקות שלא מתאימות לאימון ישיר. חובה להשתמש בחותמות הזמן של המילים והמקטעים כדי לחתוך את האודיו לחלקים קצרים לפני שמתחילים לעבוד.
from datasets import load_dataset
ds = load_dataset("legacy-datasets/ami")הרישיון
הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי ומחקר, כולל אימון מודלים ובניית נגזרות. התנאי המרכזי הוא מתן קרדיט מתאים ליוצרים. בנוסף, חל איסור מפורש לנסות ולזהות את האנשים שתרמו את קולם להקלטות.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס