yodas_owsmv4
קוד פתוחespnetcc-by-3.02025-06-02
מאגר ענק של 166,000 שעות דיבור מתומלל ב־75 שפות. הוא מיועד למי שרוצה לאמן מודלי זיהוי דיבור רב לשוניים בסגנון Whisper על בסיס נתונים שעברו סינון איכות קפדני.
- 2,282הורדות בחודש
- 18לייקים
מה זה
הנתונים הם תת קבוצה מסוננת מתוך YODAS2, שנאסף במקור מהרשת. כל רשומה כוללת מקטע אודיו באורך של עד 30 שניות לצד תמלול טקסטואלי, חותמות זמן ומזהי שפה. כדי לפתור בעיות סנכרון ותיוג שגוי מהמקור, החוקרים העבירו את החומר חיתוך מחדש באמצעות אלגוריתם CTC, סינון כפול של זיהוי שפה על גבי הטקסט והאודיו, וניפוי של דגימות עם ציוני ביטחון נמוכים.
במאגר שוחררו שתי גרסאות נפרדות. הגרסה yodas0.00 מכילה נתונים ללא סינון ציוני התאמה, והיוצרים מציינים במפורש שהיא פוגעת בביצועים ולא מומלצת לעבודה רגילה. הגרסה yodas0.10 מוגדרת כאיכותית, ועליה אומנו מודלי OWSM v4.
מתאים ל
- אימון מודלי ASR רב לשוניים
בניית מודלי זיהוי דיבור פתוחים בסגנון Whisper מקצה לקצה על בסיס גרסת 0.10 הנקייה.
- מחקר על אלגוריתמי סינון
השוואת ביצועים ואיכות בין שתי גרסאות הסינון לבחינת השפעת רעש נתונים על מודלים.
- סיווג וזיהוי שפות בדיבור
שימוש במקטעי האודיו באורך 30 שניות לאימון מודלים המסווגים שפות מתוך 75 השפות הקיימות.
איפה זה נופל
מקור הנתונים הוא תכנים פתוחים ברשת, כך שיש בהם רעשי רקע, פערי איכות הקלטה ואי דיוקים בתמלול המקורי. למרות הסינון המשולש, המפתחים עצמם מזהירים שגרסת 0.00 מלאה ברעש שמוריד את דיוק המודל. רשימת 75 השפות והיקף הייצוג של כל שפה אינם מפורטים במלואם בעמוד המאגר, ולא ידוע האם עברית נכללת ביניהן או מה איכותה. נוסף על כך, החיתוך הקשיח של עד 30 שניות לא מאפשר אימון ישיר על הקלטות ארוכות ורציפות ללא עיבוד מקדים נוסף.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפיתוח מסחרי?
כן, רישיון CC-BY-3.0 מתיר שימוש מסחרי חופשי. עליכם לתת ייחוס ברור ליוצרי המאגר מ־ESPnet ולקשר לתנאי הרישיון בכל תוצר.
האם יש בדאטהסט תמיכה בעברית?
הכרטיס מצהיר על 75 שפות שונות, אך אינו מפרט את רשימת השפות המלאה או את היקף השעות בכל שפה. לא ניתן לאשר מראש נוכחות של עברית בלי לבדוק את קובצי הנתונים עצמם.
מה ההבדל בין שתי הגרסאות שנמצאות במאגר?
הגרסה 0.00 כוללת נתונים שעברו רק יישור זמנים וזיהוי שפה, והיא מכילה תמלולים שגויים שפוגעים בדיוק המודל. הגרסה 0.10 עברה סינון נוסף לפי ציוני CTC ונחשבת לגרסה המומלצת לאימון.
באיזה פורמט נשמר האודיו ואיך קוראים אותו?
האודיו שמור בתוך ארכיוני Kaldi ark ומקושר באמצעות קובצי wav.scp, ולא כקובצי אודיו בודדים. כדי לטעון את הנתונים לקוד פייתון יש להשתמש בספריית kaldiio או במתכוני ESPnet.
איך טוענים
הורדת החומר דורשת הכנה מראש, שכן המאגר כולל 1,523 קבצים ואינו מגיע בפורמטים פשוטים של Parquet או קובצי WAV רגילים. הנתונים מאורגנים לפי הפורמט של סביבת ESPnet, כשהאודיו דחוס בארכיוני Kaldi ark והמיפוי מתבצע דרך קובצי wav.scp וקובצי טקסט ייעודיים. לצורך קריאת האודיו וקצב הדגימה תצטרכו להשתמש בספריית kaldiio. הגישה למאגר פתוחה לחלוטין וללא צורך בהרשאה מראש, אך העבודה מולו דורשת כלים שתומכים במבנה הקבצים של Kaldi ולא טעינה ישירה של שורת קוד בודדת.
from datasets import load_dataset
ds = load_dataset("espnet/yodas_owsmv4")הרישיון
המאגר מופץ תחת רישיון CC-BY-3.0. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולבנות עליו מוצרים ומודלים, בתנאי שנותנים קרדיט מלא ליוצרים ומציינים את פרטי הרישיון. הרישיון אינו דורש שיתוף של מודל נגזר באותו רישיון פתוח, אך כיוון שהחומר נאסף במקור מהרשת, כדאי לזכור שזכויות היוצרים על קטעי האודיו המקוריים מורכבות יותר.