paraspeechcaps
קוד פתוחajd12342cc-by-nc-sa-4.02025-03-01
המאגר כולל תיאורי סגנון מפורטים לקטעי דיבור באנגלית, עם תיוג רגשות ומאפייני קול. הוא פותר את המחסור בדאטה לאימון מודלי דיבור מונחי טקסט.
- 263הורדות בחודש
- 23לייקים
מה זה
המאגר מספק תיאורים טקסטואליים עשירים לקטעי שמע, המכסים 59 תגיות סגנון שונות כמו גובה צליל, קצב, רגש ואיכות קול. הרשומות מורכבות מתמלול הדיבור, תיאור סגנוני מילולי, תגיות של מאפייני הדובר, תגיות סיטואציוניות של המשפט הספציפי, ומדדים אקוסטיים כמו יחס אות לרעש וגובה קול ממוצע.
התוכן נשען על קטעי שמע מארבעה מקורות חיצוניים: VoxCeleb, Expresso, EARS ו־Emilia. הנתונים מחולקים לשני חלקים עיקריים. החלק הבסיסי כולל 282 שעות שתויגו על ידי בני אדם, והחלק המורחב מכיל מעל 2,400 שעות שתויגו אוטומטית באמצעות שילוב של מודלי שפה, מסווגים ומודל אודיו. החלוקה הפנימית מכילה סטים נפרדים לאימון, פיתוח ומבחן.
מתאים ל
- אימון מודלי TTS מונחי פרומפט
שליטה בסגנון הדיבור, הרגש ואיכות הקול של המודל באמצעות הנחיות טקסטואליות חופשיות.
- הערכת ביצועי מודלי שמע
בדיקת יכולת המודל לייצר אינטונציות וגווני קול שונים באמצעות סט המבחן והתגיות המוגדרות.
- זיהוי תכונות דיבור
אימון מסווגים שמטרתם לחלץ מאפייני דובר וסביבה אקוסטית מתוך קטעי קול באנגלית.
איפה זה נופל
המאגר כולל אנגלית בלבד, ואינו רלוונטי למי שמפתח פתרונות בעברית. הבעיה המרכזית היא שרוב המידע, מעל 2,400 שעות, נוצר בצינור תיוג אוטומטי, ולכן עלול לכלול שגיאות זיהוי של תכונות קוליות עדינות או הזיות של מודל השפה. בנוסף, חוסר האחידות בין המקורות השונים יוצר מצב שבו שדות מסוימים, כמו מבטא או תגיות פנימיות, מופיעים כערכים ריקים בחלק מהרשומות. תצטרכו להשקיע עבודה ידנית בחיבור קבצי השמע החיצוניים לפני שתוכלו לאמן.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא. הרישיון הוא CC BY-NC-SA 4.0 שאינו מתיר שימוש מסחרי. מודל שתאמנו על המידע הזה לא יוכל להימכר או להשתלב בשירות מסחרי.
האם קבצי הקול כלולים בהורדה מחיבוק פייס?
לא, המאגר כולל רק מטא-דאטה, תמלולים ותיאורי סגנון. את קבצי האודיו צריך להוריד עצמאית מהמאגרים המקוריים כמו VoxCeleb ו־Emilia לפי המזהים ברשומות.
האם יש במאגר דאטה בעברית?
לא. המאגר מוגדר ומתועד באנגלית בלבד. התיאורים, התמלולים והתגיות כולם מבוססים על שמע באנגלית.
איך נוצרו התיאורים הטקסטואליים?
חלק קטן של כ־282 שעות תויג ידנית בידי אנשים. החלק העיקרי, מעל 2,400 שעות, נוצר אוטומטית באמצעות צינור שמשלב מסווגים ומודל שפת אודיו.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הנתיב ajd12342/paraspeechcaps. הנתונים מגיעים בקובצי Parquet ואינם דורשים אישור גישה מיוחד. חשוב לדעת שקבצי השמע עצמם אינם נמצאים במאגר. השדה relative_audio_path מכיל רק את הנתיב היחסי לקובץ המקורי, ותצטרכו להוריד את קובצי האודיו ישירות ממקורותיהם לפי ההנחיות בגיטהאב של הפרויקט כדי להשתמש במידע.
from datasets import load_dataset
ds = load_dataset("ajd12342/paraspeechcaps")הרישיון
הרישיון הוא CC BY-NC-SA 4.0. המשמעות היא שהמאגר מיועד למחקר ולשימוש אישי בלבד, וחל איסור מוחלט להשתמש בו לצרכים מסחריים. חובה לתת קרדיט ליוצרים, וכל מודל או נגזרת שתאמנו על בסיסו חייבים להיות מופצים תחת אותו רישיון בדיוק.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא