zeroth_korean
קוד פתוחkresnikרישיון לא דווח2022-03-02
המאגר כולל קרוב ל־53 שעות הקלטה של דיבור בקוריאנית יחד עם תמלול מלא. הוא נותן נקודת פתיחה מסודרת וחינמית למי שמאמן או בודק מודלים של זיהוי קולי בשפה הזו.
- 2,658הורדות בחודש
- 23לייקים
מה זה
המאגר מחולק לשני חלקים בלבד, אימון ובדיקה. חלק האימון מכיל 22,263 קטעי דיבור של 105 דוברים ומסתכם בכ־51.6 שעות שמע. חלק הבדיקה קטן בהרבה וכולל 457 קטעים מ־10 דוברים שונים, באורך כולל של 1.2 שעות.
ההקלטות נלקחו במקור מפרויקט Zeroth שפורסם ב־openslr.org על ידי לוקאס ג'ו מוונקיום לי. המעלה הנוכחי רק ארז מחדש את הקבצים בפורמט מודרני כדי שיהיה נוח להוריד אותם ישירות מקוד. כל רשומה כוללת מזהה ייחודי, מזהה דובר, מזהה פרק, נתיב קובץ, תמלול טקסטואלי של המשפט והקלטת אודיו בקצב דגימה של 16kHz.
מתאים ל
- כוונון עדין לזיהוי דיבור
התאמת מודלים כמו Whisper לקליטת שפה קוריאנית על בסיס 51 שעות אימון מתומללות.
- הערכת ביצועי מודל בקוריאנית
מדידת אחוזי שגיאות מילים על סט הבדיקה שכולל 457 משפטים מוקלטים מדוברים שונים.
- הפרדת דוברים ראשונית
שימוש במזהי הדוברים והפרקים לבדיקת יכולת זיהוי קולות שונים בתוך ההקלטות.
איפה זה נופל
חמישים שעות הן מעט מאוד לאימון מודל דיבור מאפס, ולכן המאגר יספיק בעיקר לכוונון עדין או כחלק מבדיקות ראשוניות. מעבר לזה, המדגם נשען על 115 דוברים בסך הכל, בלי פירוט בכרטיס לגבי מבטאים אזוריים, גילאים, רעשי רקע או אופי הטקסט שהוקרא. מי שמפתח מוצר שמיועד להתמודד עם דיבור ספונטני או רעש יומיומי יצטרך לבדוק היטב אם ההקלטות הנקיות האלו משקפות את המציאות שלו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
התיעוד מציין רישיון CC BY 4.0 שמתיר שימוש מסחרי תחת מתן קרדיט. יחד עם זאת, במטא-דאטה של העמוד נכתב שלא דווח רישיון, כך שבארגונים עם רגולציה קפדנית כדאי להצליב את המידע עם הפרסום המקורי ב־openslr.org.
האם יש במאגר הזה תוכן בעברית?
לא. המאגר כולל אך ורק הקלטות בקוריאנית ותמלול תואם בקוריאנית. אין בו שום טקסט, אודיו או תרגום בעברית.
איך הנתונים נאספו ומאיפה הם הגיעו?
הנתונים נוצרו במסגרת פרויקט Zeroth על ידי לוקאס ג'ו מוונקיום לי, ופורסמו להורדה פתוחה ב־openslr.org. המשתמש הנוכחי רק המיר אותם לפורמט Parquet והעלה אותם כדי לאפשר טעינה קלה יותר בספריות מודרניות.
מה איכות קבצי הקול במאגר?
כל קטעי האודיו נשמרים בקצב דגימה של 16kHz. הם מגיעים עם שדה מובנה בטיפוס datasets.Audio, מה שחוסך המרה ידנית לפני שליחה למודל.
איך טוענים
טוענים את הנתונים ישירות בעזרת load_dataset עם המזהה של המאגר, בלי צורך לבקש אישור גישה מראש. הקבצים נשמרים בפורמט Parquet בחלוקה לשבעה קבצי מידע, אחד לבדיקה ושישה לאימון. השדה החשוב ביותר הוא audio שמוגדר מראש כטיפוס של Hugging Face ודוגם ב־16kHz, ולצדו שדה הטקסט שמשמש כלייבל לתמלול.
from datasets import load_dataset
ds = load_dataset("kresnik/zeroth_korean")הרישיון
למרות שבפרטי המאגר הטכניים נכתב שלא דווח רישיון, בטקסט עצמו מובהר שהנתונים הופצו במקור תחת רישיון CC BY 4.0. הרישיון הזה מתיר שימוש חופשי כולל שימוש מסחרי, בתנאי שנותנים קרדיט מתאים ליוצרים המקוריים מפרויקט Zeroth. עם זאת, בגלל הפער בין התיעוד בטקסט לשדה הרישיון הריק בראש העמוד, מומלץ לוודא את הסטטוס מול המקור ב־openslr.org לפני שמכניסים אותו למודל מסחרי.