CapSpeech

מה זה

המאגר מיועד לאימון מודלי המרת טקסט לדיבור מונחי סגנון, וכולל מעל עשרה מיליון צמדי אודיו ותיאור שנוצרו אוטומטית, לצד כמעט שלוש מאות ושישים אלף צמדים עם תיוג אנושי. הרשומות עצמן הן טבלאיות ומכילות את מקור הנתונים, נתיב יחסי לקובץ הקול, תמלול הטקסט, משך הזמן בשניות, ותיאור הסגנון של הדובר.

הנתונים נשענים על שילוב של מאגרי דיבור ציבוריים קיימים כמו גיגהספיץ', קומון וויס, ליבריטיטיאס, ווקססלב ואחרים, לצד שלושה מאגרים ייעודיים חדשים שנוצרו עבור סינתזה עם אפקטים קוליים ועבור סוכני שיחה. החלוקה הפנימית מפרידה בין שלב האימון המקדים לבין שלב הכוונון העדין, עם חלוקות משנה ייעודיות לרגשות, מבטאים ואפקטים.

מתאים ל

• אימון מודלי קול לפי סגנון

  יצירת דיבור שמבוסס על הנחיות טקסטואליות מפורטות לגבי אופי הדיבור והקצב.

• הפקת דיבור עם אפקטים

  אימון מערכות שמסנתזות קול ביחד עם אפקטי רקע קוליים להדמיות שונות.

• כוונון עדין למבטאים ורגש

  התאמת מודל קיים להפקת גווני רגש ספציפיים או מבטאים מוגדרים מראש באנגלית.

איפה זה נופל

הנתונים כולם באנגלית בלבד, כך שאין כאן מענה לשפות אחרות. הרוב המוחלט של התיוגים נוצר על ידי מכונה ולא עבר בדיקה אנושית, מה שגורר בהכרח רעש בתיאורי הסגנון. בנוסף, חוסר האחידות באיכות ההקלטות ממקורות שונים מחייב סינון מקדים, ואי הכללת קובצי הקול עצמם במאגר הופכת את תהליך ההכנה למסורבל ותלוי במקורות חיצוניים.

איך טוענים

טוענים את המאגר ישירות בעזרת הספרייה של האגינג פייס דרך פקודת הטעינה הרגילה, ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט פארקט, אך הם כוללים מטא נתונים בלבד ונתיבים יחסיים לקבצים. כדי להשתמש בהם בפועל, אתם חייבים להוריד בנפרד את קובצי האודיו מהמאגרים המקוריים ולמפות אותם לנתיבים המקומיים שלכם.

from datasets import load_dataset

ds = load_dataset("OpenSound/CapSpeech")

הרישיון

המאגר פורסם תחת רישיון קריאייטיב קומונס מסוג ייחוס לא מסחרי ארבע אפס. המשמעות היא שאתם רשאים להשתמש בנתונים למחקר, לפיתוח ולבדיקות פנימיות כל עוד אתם נותנים קרדיט ליוצרים. אסור להשתמש בנתונים, או במודלים שאומנו עליהם, לכל מטרה מסחרית או להפקת רווח כספי.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗