ViMD_Dataset
קוד פתוחnguyendv02cc-by-nc-nd-4.02024-09-30
המאגר מרכז מעל מאה שעות דיבור מתוזמן בוייטנאמית מכל 63 המחוזות במדינה. הוא פותר את בעיית חוסר הייצוג של מבטאים מקומיים במודלי דיבור לוייטנאמית.
- 2,414הורדות בחודש
- 23לייקים
מה זה
הנתונים מבוססים על שידורי חדשות מתחנות שידור אזוריות ברחבי וייטנאם, ומכסים 18,949 קטעי אודיו של 12,955 דוברים שונים. כל הקלטה כוללת תמלול טקסטואלי מלא, אורך הקטע בשניות, זיהוי דובר, מגדר וסיווג גיאוגרפי לפי מחוז ואזור. סך הכל יש כאן 102.56 שעות דיבור ויותר ממיליון ומאתיים אלף מילים.
החלוקה הפנימית מסודרת מראש לשלושה חלקים כדי לאפשר אימון והערכה הוגנים. חלק האימון כולל כ־81.4 שעות ו־15,023 רשומות, סט התיקוף מכיל כ־10.3 שעות ו־1,900 רשומות, וסט הבדיקה כולל 10.87 שעות ו־2,026 רשומות. הממוצע לכל מחוז עומד על כ־97 דקות שמע, מה שמבטיח פיזור מאוזן למדי בין הדיאלקטים השונים.
מתאים ל
- אימון זיהוי דיבור אזורי
אימון ובדיקה של מודלי ASR בוייטנאמית עם עמידות למבטאים מקומיים מכל המחוזות.
- זיהוי דיאלקט ומחוז
בניית מסווגים שמזהים את מחוז המקור או האזור הגיאוגרפי לפי מאפייני הקול.
- זיהוי דוברים ומגדר
אימון מערכות אימות קולי שמנצלות את תיוג המגדר ומזהי הדוברים המובנים.
איפה זה נופל
כל החומר מבוסס על שדרני חדשות אזוריים, כך שהדיבור רשמי ומוקפד יחסית ולא משקף שיחות רחוב יומיומיות, סלנג או הפרעות רקע של דיבור ספונטני. בנוסף, מדובר בוייטנאמית בלבד ללא שום ייצוג לשפות אחרות. אוצר המילים הייחודי עומד על 5,155 מילים בלבד, כך שלא כדאי לבנות עליו לבדו עבור מודלים שצריכים להתמודד עם ז'רגון טכני או נושאים חופשיים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
לא, הרישיון הוא cc-by-nc-nd-4.0 ואוסר במפורש שימוש מסחרי מכל סוג. הוא מיועד למחקר אקדמי ולניסויים בלבד. שימוש במוצר שנמכר ללקוחות יפר את תנאי הרישיון של היוצרים.
האם המאגר מכיל עברית או תרגום כלשהו?
אין במאגר שום תוכן בעברית או תרגום לשפות אחרות. כל קטעי הקול והתמלולים הם בוייטנאמית בלבד. הוא רלוונטי רק למי שבונה מודלים שמיועדים לשפה הזו.
איך נאסף המידע ומה איכות ההקלטות?
החומר נאסף משידורי חדשות של תחנות רדיו וטלוויזיה מקומיות ב־63 מחוזות וייטנאם. איכות ההקלטה תואמת לסטנדרט שידור, אך השפה היא שפת חדשות רשמית. אין כאן הקלטות של שיחות טלפון או שיחות ספונטניות ברחוב.
באיזה פורמט הקבצים מגיעים בדאטהסט?
המאגר מחולק ל־132 קבצים בפורמט parquet שמאפשר טעינה יעילה. קובצי הבדיקה, האימון והתיקוף מפוצלים למקטעים ממוספרים. ניתן לטעון אותם ישירות באמצעות כלי עיבוד נתונים סטנדרטיים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הנתונים באמצעות המזהה nguyendv02/ViMD_Dataset, ללא צורך בהרשאת גישה מיוחדת. המאגר מורכב מ־132 קבצים שמחולקים לחלקי parquet, כולל קובצי פיצול ממוספרים עבור סטים שונים. השדות העיקריים לעבודה כוללים את שדה הטקסט, שדה האודיו, זיהוי המחוז, האזור, המגדר ומזהה הדובר.
from datasets import load_dataset
ds = load_dataset("nguyendv02/ViMD_Dataset")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-nd-4.0. המשמעות ברורה וחדה: מותר להשתמש בו למחקר לא מסחרי בלבד, חובה לתת קרדיט ליוצרים, ואסור להפיץ שינויים או יצירות נגזרות שלו. אם אתם בונים מודל למוצר מסחרי, הרישיון הזה חוסם אתכם.