QualiSpeech
קוד פתוחtsinghua-eeרישיון לא דווח2025-03-26
מעל 15,000 דגימות שמע באנגלית עם ציוני איכות ונימוקים מילוליים מפורטים. מתאים למי שרוצה לאמן מודלים להסביר בעיות שמע במקום לפלוט ציון מספרי יבש.
- 561הורדות בחודש
- 24לייקים
מה זה
המאגר מציע מעל 15,000 דגימות שמע באנגלית שמחברות בין ציוני איכות מקובלים לבין ניתוח טקסטואלי מנומק. כל רשומה כוללת שבעה ציונים מספריים על היבטים כמו רעש, עיוות, רציפות, מהירות, טבעיות ומאמץ האזנה, לצד תיאורים מילוליים מדויקים שמפרטים את סוג הרעש, מיקומו בציר הזמן, עצירות לא טבעיות ותכונות קוליות. יש כאן גם תיאור מילולי חופשי שמסביר את השיקולים שהובילו לקביעת האיכות הכוללת.
מקורות השמע מחולקים בין הקלטות אנושיות לבין קולות מסונתזים. הנתונים האמיתיים הגיעו ממאגרים כמו NISQA ו־GigaSpeech, בעוד החלק הסינתטי נוצר ממגוון מנועי דיבור מודרניים כולל ChatTTS, XTTS v2, CosyVoice, F5-TTS, VoiceCraft ומאגר BVCC. לצורך סימולציית רעשים שולבו מקורות מתוך DNS Challenge, והטקסטים לסינתוז נלקחו מ־SOMOS.
מתאים ל
- אימון מודלי שפה להסבר קולי
לימוד מודלים לנתח שמע ולהסביר במילים למה ההקלטה צורמת או מקוטעת.
- בנצ'מרק להערכת איכות דיבור
בדיקת היכולת של מודלי שמע רב-מודאליים לזהות עיוותים ורעשי רקע.
- סינון דגימות במערכות TTS
זיהוי אוטומטי של עצירות לא טבעיות ובעיות רצף בקולות שנוצרו במחשב.
איפה זה נופל
כל הנתונים במאגר הם באנגלית בלבד, כך שהוא לא יעזור ישירות למי שבונה מודלים להערכת דיבור בעברית או בשפות אחרות. חלק ניכר מהדגימות מבוסס על שמע סינתטי ממודלים ספציפיים כמו CosyVoice ו־F5-TTS, מה שעלול לייצר הטיה לארטיפקטים שייחודיים לארכיטקטורות האלו ולאו דווקא לבעיות בשיחות טלפון אמיתיות. בנוסף, חובה להביא בחשבון את התלות בקובצי צד שלישי שצריך למשוך ידנית כדי להשלים את הדאטהסט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, המאגר מוגדר תחת רישיון לא-מסחרי מסוג CC BY-NC-SA 4.0 שמגביל את השימוש למחקר בלבד. מעבר לכך, חלק מהנתונים מגיעים ממאגר BVCC שמכיל מגבלות הפצה קפדניות משל עצמו. אם תאמנו עליו מודל, לא תוכלו למכור גישה אליו או להטמיע אותו במוצר עסקי.
האם יש בדאטהסט הקלטות בעברית?
אין בו עברית בכלל. המאגר מוגדר במפורש כדאטהסט באנגלית, והטקסטים שסונתזו או נדגמו מגיעים כולם ממאגרים דוברי אנגלית כמו Libriheavy ו־GigaSpeech. תוכלו להשתמש בו כדי ללמוד עקרונות הערכה של רעשי רקע, אך הניתוח הטונאלי והלשוני לא מייצג דיבור מקומי.
למה צריך להריץ סקריפטים ולא מקבלים את כל הקבצים מיד?
החוקרים לא מורשים להפיץ מחדש חלק מההקלטות שמקורן ב־Blizzard Challenge בגלל תנאי הרישוי המקוריים שלהן. לכן המאגר מספק קובצי מטא-דאטה וסקריפטים שמושכים את האודיו החסר ישירות מהמקור. רק לאחר הרצת פקודות ההורדה והאיחוד תקבלו את מבנה הנתונים המלא על הדיסק שלכם.
במה הוא שונה מסתם מאגר ציוני MOS רגיל?
מאגרי MOS קלאסיים נותנים בדרך כלל ציון מספרי יחיד או כמה ציוני משנה על סקאלה קבועה בלי הסבר. המאגר הזה כולל לצד המספרים גם הסברים מילוליים שמפרטים מתי בדיוק התרחש רעש, איזה סוג עיוות נשמע, ותיאור של אופי הקול. השילוב הזה נבנה ספציפית כדי לאמן מודלי שפה לנמק את ההחלטות שלהם.
איך טוענים
המאגר מכיל קובצי CSV לחלוקת אימון ומבחן יחד עם סקריפטים להורדה ולהרכבה, אבל אי אפשר פשוט לטעון אותו בקריאה ישירה אחת. בגלל מגבלות רישוי של Blizzard Challenge שמונעות הפצה ישירה של נתוני BVCC, אתם חייבים להריץ תחילה סקריפט bash ייעודי להורדת הנתונים החיצוניים, ורק אז להריץ סקריפט מיזוג שבונה את הקבצים המלאים. ברשומות עצמן תמצאו נתיב לקובץ השמע, מילון ציונים, שדות תיאור ספציפיים ופסקת נימוק מילולית.
from datasets import load_dataset
ds = load_dataset("tsinghua-ee/QualiSpeech")הרישיון
הכרטיס מגדיר רישיון Creative Commons Attribution NonCommercial ShareAlike 4.0, אף שבנתוני המטא של המאגר מצוין שלא דווח רישיון. המשמעות היא איסור מוחלט על שימוש מסחרי, חובת מתן קרדיט ליוצרים, ודרישה שכל מאגר או מודל נגזר שנוצר על בסיסו יופץ תחת אותו רישיון בדיוק. אם אתם מתכננים להטמיע את התוצרים במוצר מסחרי, המאגר הזה פשוט חסום בפניכם.