mms_ulab_v2
קוד פתוחespnetcc-by-nc-sa-4.02024-06-25
מאגר שמע ענק המיועד לאימון מודלי קול במגוון חסר תקדים של שפות. הוא מתאים למי שבונה מודלי בסיס רב לשוניים או מערכות זיהוי וסיווג דיבור לשפות נדירות.
- 1,202הורדות בחודש
- 27לייקים
מה זה
המאגר מכיל קובצי אודיו ומיועד למשימות של אודיו לאודיו וסיווג אודיו. הוא נבנה כחלק מיוזמת MMS וכולל כיסוי של אלפי שפות וניבים מרחבי העולם, כולל עברית שמסומנת בקוד heb. הנתונים מחולקים למערך אימון שמורכב מ 116 קובצי פרקט שונים, ללא חלוקה מובנית לערכות בדיקה או ולידציה בכרטיס.
כרטיס הדאטהסט לא מפרט את אופן הדגימה, משך השעות הכולל, תנאי ההקלטה או אופן הסינון של הרשומות. מדובר בגרסה שנייה של נתונים לא מתויגים או מיושרים ברמת שפת דיבור, והתוכן מוגש בצורה גולמית יחסית שמכוונת ישירות למחקר בתחום עיבוד אותות דיבור.
מתאים ל
- קדם אימון מודלי דיבור
אימון מודלי ייצוג שמע רב לשוניים על היקף שפות רחב מאוד.
- זיהוי שפת דיבור
בניית מסווג שמזהה מתוך השמע איזו שפה מדוברת באלפי ניבים.
- מחקר בלשני חישובי
השוואת מאפיינים אקוסטיים ופונטיים בין מאות שפות בעלות משאבים דלים.
איפה זה נופל
הכרטיס ריק מכל תיעוד טכני. אין מידע על איכות ההקלטות, שיעור הרעש, מגדר הדוברים או האיזון בין אלפי השפות השונות, מה שמבטיח הטיה מובנית לטובת שפות עם יותר דאטה. אי אפשר לדעת מתי והיכן נאספו ההקלטות, מה שהופך שימוש במוצר אמיתי להימור עיוור בלי שלב בדיקה וניקוי מקיף משלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המוגדר הוא CC BY-NC-SA 4.0 שמונע במפורש כל שימוש מסחרי. מודל שאומן עליו מוגבל למחקר בלבד.
האם המאגר כולל עברית?
כן. קוד השפה heb מופיע ברשימת השפות הנתמכות בכרטיס המאגר לצד אלפי שפות אחרות.
כמה קבצים יש במאגר ואיך הם מאורגנים?
המאגר כולל 117 קבצים בסך הכל. הנתונים עצמם מפוצלים על פני 116 קובצי פרקט תחת תיקיית data לצד קובץ התיעוד.
מה מקור ההקלטות ואיך אספו אותן?
התיעוד בכרטיס הדאטהסט אינו מציין את מקור ההקלטות או תהליך הסינון שעברו. מידע זה אינו ידוע מתוך דף המאגר.
איך טוענים
טוענים את המאגר ישירות בעזרת ספריית datasets הרגילה של Hugging Face תוך ציון המזהה espnet/mms_ulab_v2. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה ישירה. הנתונים מאוחסנים בפורמט פרקט ומחולקים ל 116 חלקים, כך שעבודה בסביבה מוגבלת בזיכרון דורשת טעינה בהזרמה כדי לא לקרוס.
from datasets import load_dataset
ds = load_dataset("espnet/mms_ulab_v2")הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות ברורה: שימוש מסחרי אסור לחלוטין. מותר להשתמש במאגר למחקר ופיתוח פנימי בלבד, תוך מתן קרדיט מלא ליוצרים, וכל מודל או נגזרת שתפרסמו חייבים להיות מופצים בדיוק תחת אותו רישיון מגביל.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא