DisfluencySpeech
קוד פתוחamaai-labapache-2.02024-05-30
המאגר כולל קרוב לעשר שעות של דיבור באנגלית מאולפן שמדמה שיחה טבעית עם גמגומים ועצירות. הוא מתאים למי שרוצה לאמן מודל דיבור שיישמע אנושי ולא מוקפד מדי.
- 349הורדות בחודש
- 22לייקים
מה זה
הנתונים מתבססים על שיחות טלפוניות מתוך מאגר Switchboard-1, אבל במקום הקלטות ישנות באיכות נמוכה, דובר יחיד הקליט מחדש באולפן כעשר שעות של טקסטים מתוכו. כל קובץ קול שמור בתדר דגימה של 22,050 הרץ בליווי ארבע רמות שונות של תמלול.
הרעיון כאן הוא לבחון כמה מידע צריך לתת למודל כדי שיפיק שפה טבעית. התמלול המלא כולל סימונים מפורשים לאירועים שאינם דיבור כמו צחוק ונשימות, יחד עם חזרות ותיקונים. ברמה הראשונה הורידו אירועים לא קוליים, ברמה השנייה מחקו מילות היסוס וסמני שיח, וברמה השלישית והמצומצמת ביותר נוקו גם התחלות שגויות של משפטים.
החלוקה הפנימית מוגדרת מראש, כשערכת האימון מכילה תשעים אחוז מהנתונים, וערכות הבדיקה והאימות מחזיקות כל אחת חמישה אחוזים נוספים.
מתאים ל
- אימון היסוסים בקול
לימוד מודל יצירת דיבור לייצר אנחות וגמגומים ישירות מטקסט נקי.
- כיוונון סייענים קוליים
הוספת מילות קישור והפסקות כדי שהבוט יישמע פחות רובוטי בשיחה.
- בדיקת השפעת תמלול
השוואה בין תמלול גולמי לתמלול מסונן כדי למדוד את איכות הפלט.
איפה זה נופל
הבעיה המרכזית היא שיש כאן רק דובר אחד שמדבר אנגלית. אי אפשר לאמן על זה מודל כללי שיודע לדבר בקולות שונים, ובטח שאין פה עברית או מבטאים מקומיים. מעבר לזה, מדובר במשחק תפקידים באולפן ולא בשיחה אמיתית שקרתה באופן ספונטני, כך שיש פער בין ההקלטה לבין דיבור טבעי ברחוב. עשר שעות זה מעט מאוד חומר לאימון מלא של מודל מודרני, ולכן הדאטהסט מתאים בעיקר לכיוונון עדין או לניסויים ספציפיים על שילוב היסוסים בדיבור.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון הוא אפאצ'י שתיים אפס ואין עליו מגבלה מסחרית. אתם יכולים לאמן עליו מודלים פנימיים או לשלב אותו במערכות שלכם, רק צריך לכלול את הייחוס ליוצרים כנדרש ברישיון.
האם יש בדאטהסט הקלטות בעברית?
לא, המאגר כולל אך ורק אנגלית ומבוסס על דובר יחיד. אם אתם מחפשים לאמן מודלים בעברית או במבטא ישראלי, הנתונים כאן לא יעזרו לכם בכלל.
איך הוקלטו הנתונים בפועל?
דובר יחיד שחזר באולפן שיחות מתוך מאגר ישן של שיחות טלפון. הוא קרא את התמלילים בצורה שמחקה דיבור ספונטני כדי לקבל איכות אולפן גבוהה יחד עם מאפיינים של שיחה יומיומית.
מה ההבדל בין רמות התמלול השונות?
התמלולים נעים בין רישום מדויק של כל צחוק ונשימה לבין טקסט שעבר ניקוי יסודי. המטרה היא לאפשר לחוקרים לבדוק איך המודל מתמודד כשהוא מקבל טקסט רגיל לעומת טקסט שמכיל הוראות קוליות מפורשות.
איך טוענים
טוענים את הנתונים דרך ספריית הדאטהסטס הרגילה של האגינג פייס בלי צורך לבקש הרשאות מיוחדות. הקבצים מחולקים לחבילות פארקט לפי הפיצול של אימון, בדיקה ואימות, לצד קובץ זיפ בשם MFA שמיועד ליישור פונטי. מבחינת שדות, יש גישה לשמע עצמו ולארבעת עמודי התמלול השונים שמאפשרים לבחור מה בדיוק מזינים למודל. בגלל שמדובר באודיו באיכות 22 קילוהרץ, כדאי לוודא שיש מספיק מקום פנוי בדיסק להורדה ולפריסה של קובצי הקול לפני שמתחילים באימון.
from datasets import load_dataset
ds = load_dataset("amaai-lab/DisfluencySpeech")הרישיון
המאגר מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים פרטיים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. המודלים שמאמנים עליו לא חייבים להיפתח לציבור בקוד פתוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים