superb
קוד פתוחs3prlunknown2022-03-02
מאגר שמרכז משימות שמע באנגלית כדי לבחון מודלים על בנצ׳מרק אחיד. הוא שימושי למי שרוצה להשוות ייצוגי קול מוקפאים על זיהוי דיבור, זיהוי דובר ורגשות באותו מקום.
- 819הורדות בחודש
- 34לייקים
מה זה
המאגר מאגד כמה תתי סטים שונים של אודיו, כולם בקצב דגימה של 16000 הרץ, שמקורם בהרחבות למאגרים מוכרים כמו ליבריספיץ', ליברימיקס וספיץ' קומנדס. המידע מחולק לפי משימות ספציפיות, כך שכל קונפיגורציה כוללת שדות שונים ומבנה חלוקה שונה לחלוטין.
בחלק של זיהוי דיבור מקבלים טקסט ורצועת שמע עם עשרות אלפי דוגמאות בחלוקה סטנדרטית. לעומת זאת, החלק של זיהוי רגשות מסווג לארבע קטגוריות בלבד ומאורגן לפי חמישה מפגשים ממוספרים, בעוד שחלקים אחרים מוקדשים לכוונות קוליות, זיהוי מילות מפתח, דיאריזציה וזיהוי מתוך רשימה ארוכה של דוברי יעד.
מתאים ל
- בנצ'מרק למודלי קול
הרצת בדיקות אחידות על ייצוגי שמע מוכנים לבחינת ביצועים במשימות שונות.
- זיהוי פקודות קוליות
אימון ובדיקה של מודלים קלים לזיהוי מילות הפעלה ומילות מפתח באנגלית.
- סיווג רגשות בשיחה
הערכת יכולת המודל להבחין בין כעס, עצב ושמחה מתוך הקלטות דיבור.
איפה זה נופל
ההגבלה הראשית היא השפה, הנתונים כולם באנגלית בלבד ואין כאן שום ייצוג לעברית. בנוסף, מדובר בהרחבות על בסיס דאטהסטים ותיקים שפורסמו במקור לפני שנים, כך שחלק מהמשימות מייצגות פקודות מוגבלות או תנאי הקלטה אולפניים שלא תמיד יחזיקו בסביבה רועשת או בשיחות יומיומיות מורכבות.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
הרישיון של המאגר מוגדר כלא ידוע. מכיוון שהוא מורכב מחומרים שנלקחו ממאגרים חיצוניים שונים, אסור להניח שמותר להשתמש בו למוצר מסחרי בלי לבדוק את תנאי המקור של כל תת מאגר בנפרד.
כמה המאגר שוקל והאם הוא יורד כולו בבת אחת?
הוא לא יורד כיחידה אחת אלא מחולק לתצורות שונות. כל חלק שוקל אחרת, החל מפחות מגיגה בייט למשימת זיהוי הרגשות ועד מעל שמונה גיגה בייט למשימות כמו דיאריזציה.
האם יש במאגר דגימות בעברית?
לא. כל ההקלטות והטקסטים במאגר מתועדים באנגלית בלבד ואין בו שום תוכן בעברית.
איך טוענים
טוענים את המאגר ישירות בספריית הדאטהסטס הרגילה, אך חייבים להגדיר קונפיגורציה ספציפית כמו asr, er או ks כי לכל אחת מבנה שונה. אין צורך בבקשת גישה מיוחדת, והקבצים יושבים בפורמט פארקט. נפחי ההורדה משמעותיים ויכולים לעבור שמונה גיגה בייט לקונפיגורציה בודדת, לכן חשוב לוודא שיש מספיק מקום בדיסק המקומי לפני המשיכה.
from datasets import load_dataset
ds = load_dataset("s3prl/superb")הרישיון
הרישיון מוגדר כלא ידוע. המשמעות פשוטה: לא ברור אם מותר להשתמש במידע הזה למוצר מסחרי, ואין היתר ברור להפצת נגזרות או אימון למטרות רווח. כל עוד המקורות המקוריים שמהם נבנה הדאטהסט לא נבדקו פרטנית ברישיונות שלהם, השימוש בו בטוח בעיקר לצרכי מחקר והשוואת מודלים בלבד.