WenetSpeech-Yue

מה זה

המאגר מכיל מעל 21,800 שעות שמע בשפה הקנטונזית. הנתונים מתפרסים על פני עשרה תחומים שונים, ובהם חדשות, פודקאסטים, ולוגים, דרמה, בידור, חינוך, סיפור סיפורים, תרבות ופרשנות. התוכן מייצג הקלטות וידאו מקוונות שמהן נגזרו מקטעי הדיבור.

המידע על ההקלטות מאורגן בקובץ מטא-דאטה בתבנית שורות JSON. כל רשומה כוללת מזהה מקטע, שילוב של שלושה תמלולי זיהוי דיבור בשיטת ROVER, מדדי ביטחון לתמלול ולפיניין קנטונזי, משך זמן, ומאפייני דובר כמו גיל, מגדר ומזהה דובר. בנוסף ישנם נתוני איכות שמע כמו SNR וציון איכות DNSMOS, חותמות זמן ברמת התו, וכן פרטי מקור כמו קישור, שם תוכנית ואזור גיאוגרפי.

מתאים ל

• אימון מודלי זיהוי דיבור

  פיתוח מערכות זיהוי קוליות לקנטונזית בהיקף רחב, תוך שימוש במדדי הביטחון לסינון תמלולים.

• סינתזת דיבור קנטונזית

  אימון מודלי הקראה והפקת דיבור על בסיס נתוני הדוברים, הגיל, המגדר ואיכות האות.

• זיהוי דוברים ומאפייניהם

  בניית מודלים לסיווג מגדר, הערכת גיל וזיהוי מאפייני קול לפי התיוגים הייעודיים.

איפה זה נופל

הנתונים מוגבלים לקנטונזית בלבד, ללא שפות נוספות או עברית. קובצי האודיו הגולמיים לא יושבים במאגר, מה שמחייב תהליך הורדה וגזירה עצמאי מקישורים חיצוניים שעלולים להישבר. התמלולים נוצרו משילוב של מערכות זיהוי דיבור אוטומטיות ולא נכתבו ידנית, כך שהם עלולים להכיל שגיאות זיהוי שמחייבות סינון לפי מדדי הביטחון שסופקו.

איך טוענים

המאגר כולל קובץ מטא-דאטה בשם wenetspeech_yue_meta.jsonl ואינו מכיל את קובצי השמע עצמם להורדה ישירה. כדי לעבוד איתו, מורידים את קובץ המטא-דאטה, שולפים את הקישורים לשמקור הווידאו המקורי דרך שדה הקישור, וחותכים את השמע לפי נקודות החיתוך המסומנות. מי שמעוניין בקובצי שמע מעובדים מראש נדרש לפנות לצוות המחקר במייל או דרך קבוצת וויצ'אט ייעודית.

from datasets import load_dataset

ds = load_dataset("ASLP-lab/WenetSpeech-Yue")

הרישיון

הרישיון המדווח הוא CC BY-NC 4.0. המשמעות היא שהשימוש מותר למטרות מחקר ופיתוח לא מסחרי בלבד, תוך מתן קרדיט מלא ליוצרים. אי אפשר להשתמש בנתונים האלה כדי לאמן מודלים למוצר מסחרי או להפיק מהם רווח כספי.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗