khmer-speech-dataset

מה זה

הנתונים מורכבים מצמדי שמע וטקסט שנוצרו על ידי דוברי חמרית מקומיים מקמבודיה. המשתתפים, חמש נשים ושבעה גברים, הקליטו משפטים ידנית בהתבסס על נושאים תרבותיים מוגדרים. התוכן מחולק ל־61 נושאים ראשיים ו־1,749 תת נושאים, בעיקר סביב תרבות קמבודית כמו מתכונים ואוכל רחוב.

כל רשומה כוללת דגימת שמע בקצב של 16,000 הרץ, מזהה דובר, משך הקלטה שעומד בממוצע על שמונה שניות, תמלול טקסטואלי, ומזהי נושא ומשפט. המידע מספק גם נתונים דמוגרפיים על הדוברים הכוללים מגדר, קבוצת גיל ועיר מוצא. הדאטהסט מאורגן בפורמט פרקט ומכיל בין 100 אלף למיליון רשומות שמחולקות על פני מאות קבצים.

מתאים ל

• אימון זיהוי קולי בחמרית

  התאמת מודלים כמו ויספר לזיהוי דיבור בקמבודית כדי להוריד את שיעור השגיאות בתמלול.

• אימון מודלי הקראה

  פיתוח מנועי טקסט לדיבור בקמבודית בהתבסס על ההקלטות הנקיות והשיוך המדויק לדוברים.

• סיווג נושאי טקסט ושמע

  בניית מסווגים לפי 61 הנושאים והתת נושאים התרבותיים שמתוייגים בכל רשומה במאגר.

איפה זה נופל

כל 728 השעות הוקלטו על ידי 12 דוברים בלבד, שבעה גברים וחמש נשים. מודל שמתאמן על מגוון קולות כל כך צר יתקשה להכליל למבטאים, טונים וגילאים שונים מחוץ לקבוצה המקורית. הטקסטים מכסים רק נושאים תרבותיים ומילים ספציפיות, כך שחסר אוצר מילים מקצועי, טכנולוגי או שיחות יומיומיות ספונטניות. השמע מוקלט באופן יזום ואינו משקף רעשי רקע של סביבה טבעית.

איך טוענים

טוענים את הנתונים דרך ספריית הדאטהסטים הרגילה מקבצי פרקט, ללא צורך בהרשאת גישה מיוחדת. הנפח הכולל מגיע ל־495.9 ג'יגה בייט ודורש תשתית אחסון מתאימה ורוחב פס רחב כדי למשוך את 4,452 הקבצים במאגר. השדות המרכזיים לעבודה הם transcript ונתוני ה־audio עצמם, יחד עם ערכי הדגימה ומשך הזמן.

from datasets import load_dataset

ds = load_dataset("Digital-Divide-Data/khmer-speech-dataset")

הרישיון

המאגר מופץ תחת רישיון cc-by-sa-4.0. מותר להשתמש בו לצרכים מסחריים ומחקר, אך חובה לתת קרדיט ליוצרים. תנאי השיתוף הזהה מחייב להפיץ כל יצירה נגזרת או עיבוד של הנתונים תחת אותו רישיון בדיוק, נקודה שעלולה להגביל שילוב במוצרים קנייניים סגורים.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗