ISCSLP2026-CoT-TTS
קוד פתוחHKUSTAudioרישיון לא דווח2026-06-16
המאגר כולל 16,000 שעות אודיו מסרטים וסדרות עם הקשר שיחתי וניתוחי CoT. הוא נבנה עבור מי שחוקר יצירת דיבור עם רגש והבנת הקשר במקום הקראת טקסט יבשה.
- 2,498הורדות בחודש
- 15לייקים
מה זה
המאגר מחזיק כשלושה מיליון מקטעים מוקלטים בפורמט FLAC, שמחולקים לאנגלית (54%) ולסינית (46%). המקורות הם סרטים, סדרות טלוויזיה, תסכיתי רדיו וסדרות קצרות. המידע מחולק לשישה תיקיות לפי שפות ומקטעי נתונים, וכולל קובצי מטא-דאטה לצד שתי ספריות אודיו: אחת של מקטעי שיח נקודתיים שנחתכו לפי זיהוי דוברים, ושנייה של מקטעים מורחבים ששומרים על רצף האודיו המקורי לפני ואחרי המשפט.
לכל דגימה יש משפט יעד, הקשר של הדיאלוג שקדם לו, דוברי ייחוס, תיוגי רגש ותובנות בסגנון שרשרת מחשבה. קובצי המטא-דאטה מגיעים בשתי גרסאות, כאשר גרסת ה־cot_mos מוסיפה מדדים של רעש וטבעיות הדיבור. האודיו עצמו לא עבר סינון רעשים אגרסיבי או אחידות בעוצמות, בעוד שהתיוגים הופקו מגרסאות נקיות יותר.
מתאים ל
- אימון TTS מבוסס הקשר
יצירת קולות שמסיקים את האינטונציה והסגנון מהיסטוריית השיחה ולא רק מהמשפט הבודד.
- מחקר על דיבור מונחה חשיבה
שילוב הסברי CoT בתהליך ההפקה כדי לשלוט ברגש ובטבעיות הדיבור באנגלית ובסינית.
- בדיקת מודלים בתנאי רעש
בחינת עמידות של מודלי שמע על הקלטות מורכבות שמכילות מוזיקת רקע וצלילי סביבה.
איפה זה נופל
ההקלטות מגיעות ממדיה מבויימת ודרמטית, כך שהן לא מייצגות דיבור יומיומי טבעי, ואין כאן עברית כלל אלא רק אנגלית וסינית. האודיו רועש וכולל מוזיקת רקע, צלילי סביבה ודיבור חופף. בנוסף, תוויות הדוברים, התמלולים, ניתוחי הרגש ושרשראות המחשבה הופקו אוטומטית ומכילים שגיאות, כך שהם לא יכולים לשמש כאמת מוחלטת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. המאגר מוגבל למחקר אקדמי בלבד ללא מטרות רווח. הכרטיס אוסר במפורש אימון של מודלים למטרות מסחריות, שירותי הקראת דיבור בתשלום או מוצרי שיבוט קול.
האם יש בדאטהסט תמיכה בעברית?
אין עברית בכלל. המאגר כולל אך ורק אנגלית (54%) וסינית (46%). מי שמחפש לאמן מודלים לשיחה בעברית יצטרך לפנות למקורות אחרים.
מאיפה הגיעו הנתונים ואיך חילקו אותם?
החומרים נאספו מסרטים, סדרות ודרמות רדיו. החוקרים השתמשו בזיהוי דוברים אוטומטי וחילקו את השמע למקטעי דיאלוג נקודתיים ולמקטעים רציפים מורחבים, לצד תמלולים והסברי חשיבה שנוצרו על גבי אודיו שעבר סינון רעשים.
האם האודיו מוכן ישירות לאימון מודל?
לא מומלץ לזרוק אותו ישר לרשת. האודיו שוחרר כמעט ללא עיבוד כדי לשמור על תנאי שטח, ולכן תמצאו בו הבדלים בקצבי דגימה, ערוצי שמע, רמות ווליום ומוזיקת רקע. תצטרכו להריץ עליו פייפליין משלכם של סינון, נרמול ואחידות.
איך טוענים
המאגר מכיל 364 קבצים, כולל ארכיוני tar כבדים שמחייבים פריסה מקומית. לא נדרש אישור גישה מראש. בתהליך העבודה טוענים את קובץ המטא-דאטה, שולפים ממנו את היסטוריית השיחה מתוך dialog_segments, את טקסט היעד ואת ניתוח ה־cot_text. האודיו מותאם לפי מזהי הקטעים segment_id ו־ref_segment_id, כאשר כל הזמנים מצוינים בשניות. קחו בחשבון שקצב הדגימה, מספר הערוצים והווליום אינם אחידים בין הקבצים, ותצטרכו לבצע נרמול בעצמכם.
from datasets import load_dataset
ds = load_dataset("HKUSTAudio/ISCSLP2026-CoT-TTS")הרישיון
המאגר סגור לחלוטין לשימוש מסחרי ומיועד אך ורק למחקר והערכה אקדמיים, בהתאם לרוח רישיון CC BY-NC 4.0. חל איסור מוחלט לאמן עליו מודלים למוצרים מסחריים, להפיץ אותו מחדש או לנסות לשחזר את יצירות המקור והדוברים. בפועל, מודל שלומד על הדאטה הזה מוגבל לאקדמיה בלבד.