zeroth-korean
קוד פתוחBingsucc-by-4.02022-08-14
הקלטות שמע מתומללות בקוריאנית לאימון והערכה של זיהוי דיבור. זהו מאגר פתוח שמיועד למי שמפתח מודלי ASR וצריך נתונים נקיים יחד עם טקסט תואם.
- 808הורדות בחודש
- 46לייקים
מה זה
המאגר מבוסס על פרויקט Zeroth שפותח בשיתוף פעולה בין Lucas Jo מחברת Atlas Guide לבין Wonkyum Lee מחברת Gridspace, ומקורו המקורי ב־OpenSLR. הוא כולל בסך הכל כ־52.8 שעות של דיבור מוקלט בקוריאנית, עם תמלול טקסטואלי מלא לכל קטע שמע.
הנתונים מחולקים לשני חלקים ברורים. חלק האימון מכיל 22,263 מקטעי דיבור באורך כולל של 51.6 שעות, שהוקלטו על ידי 105 דוברים ומכסים 3,000 משפטים שונים. חלק הבדיקה כולל 457 מקטעים באורך של 1.2 שעות, שהוקלטו על ידי 10 דוברים נפרדים.
בפרויקט המקורי נכללים גם מודל שפה מוכן, לקסיקון ומקטע מורפולוגי מבוסס Morfessor, אך בגרסה הנוכחית המבנה פשוט וישיר, ומחזיק רק את קבצי השמע והתמליל המדויק שלהם.
מתאים ל
- אימון מודל ASR בקוריאנית
כוונון עדין של מודלי שמע על 51.6 שעות דיבור מתומלל עם 105 דוברים.
- הערכת ביצועי תמלול
בדיקת שיעור שגיאות מילים על סט מבחן מוגדר של 457 היגדים ו־10 דוברים.
- מחקר אקוסטי ומורפולוגי
בחינת תכונות שמע ויישור פונטי של קוריאנית מול טקסט כתוב ומנופה.
איפה זה נופל
ההקלטות כוללות 115 דוברים בלבד בין האימון למבחן, כך שהמגוון הקולי מוגבל למדי. המאגר מכיל קוריאנית בלבד ואין בו שום ייצוג לשפות אחרות. 52.8 שעות הן בסיס טוב לבדיקות, אך מעט מדי לאימון מודל דיבור שלם מאפס ללא הסתמכות על מודל בסיס חזק קיים. הכרטיס לא מציין פרטים על תנאי ההקלטה, רעשי רקע או חלוקת המיקרופונים, ולכן יש לבדוק ידנית את איכות האות לפני שמשלבים את המודל במערכת עם תנאי שטח רועשים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא CC BY 4.0, שמאפשר שימוש מסחרי מלא באימון מודלים ובמערכות ייצור. הדרישה היחידה היא לתת קרדיט ליוצרי הפרויקט.
כמה מקום צריך לפנות בדיסק בשביל המאגר?
קובצי ההורדה שוקלים 2.68 גיגה בייט. לאחר הפריסה והעיבוד המאגר תופס 2.85 גיגה בייט נוספים, ובסך הכל נדרשים כ־5.52 גיגה בייט של שטח אחסון פנוי.
האם יש במאגר הקלטות או תמלולים בעברית?
לא. המאגר מוקדש כולו לשפה הקוריאנית ומכיל אך ורק היגדים קוריאניים וטקסט תואם.
מאיפה הנתונים האלה הגיעו ואיך הם נאספו?
הנתונים נוצרו במסגרת פרויקט Zeroth על ידי חברות Atlas Guide ו־Gridspace כדי להנגיש זיהוי דיבור בקוריאנית, ופורסמו במקור דרך OpenSLR. ההקלטות מכסות 3,000 משפטים שנקראו על ידי 105 דוברים בסט האימון ועוד 10 דוברים בסט הבדיקה.
איך טוענים
טוענים את המאגר ישירות דרך פקודת load_dataset עם המזהה Bingsu/zeroth-korean. הגישה פתוחה לחלוטין ואינה דורשת אישור מראש. קובצי המקור ארוזים בפורמט Parquet, ונפח ההורדה עומד על 2.68 גיגה בייט, כאשר הנפח הכולל מגיע ל־5.52 גיגה בייט.
בכל רשומה יש שני שדות בלבד: audio ו־text. השמע מקודד בקצב דגימה של 16,000 הרץ ומכיל את המערך המספרי של האות. בעבודה עם עמודת השמע כדאי לגשת קודם לאינדקס של השורה ורק אז לשדה האודיו, כדי להימנע מפענוח מראש של כל הקבצים בזיכרון.
from datasets import load_dataset
ds = load_dataset("Bingsu/zeroth-korean")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל אימון מודלים למוצרים מסחריים. התנאי היחיד הוא מתן קרדיט נאות ליוצרי המאגר, ואין חובה לשתף מודלים או נגזרות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס