librispeech-alignments
קוד פתוחgilkeyiocc-by-4.02023-11-22
המאגר מחבר בין הקלטות האודיו המוכרות של ליבריספיץ׳ לבין חותמות זמן מדויקות ברמת המילה והפונמה. הוא נבנה במיוחד למי שצריך לאמן או להעריך מודלי דיבור שדורשים סנכרון זמנים קשיח.
- 1,875הורדות בחודש
- 19לייקים
מה זה
הבסיס כאן הוא קורפוס LibriSpeech הקלאסי, שמכיל 1,000 שעות של הקראת ספרי שמע באנגלית בקצב דגימה של 16kHz שמקורם בפרויקט LibriVox. החידוש בגרסה הזו הוא התוספת של שכבת סנכרון, שנבנתה במקור באמצעות Montreal Forced Aligner על בסיס Kaldi, ומצמידה לכל מקטע אודיו את התחביר המדויק ברמת חלקי השנייה.
כל רשומה כוללת את קובץ האודיו, זיהוי ייחודי של הדובר והפרק, מין הדובר, תמלול טקסטואלי שעבר נרמול לאותיות קטנות, ושתי רשימות סנכרון מפורטות. רשימה אחת מפרקת את המילים עם זמני התחלה וסיום בשניות, והשנייה עושה את אותו הדבר בדיוק עבור פונמות בודדות. במהלך העיבוד להאגינג פייס סוננו מילים ריקות, פונמות ללא טקסט, רווחים ותגי שתיקה.
החלוקה הפנימית שומרת על המבנה המקורי של ליבריספיץ׳. יש כאן תתי מאגרים נפרדים לאימון של 100 שעות נקיות, 360 שעות נקיות ועוד 500 שעות ברמת רעש אחרת, לצד סטים מוגדרים מראש של בדיקה ואימות עבור שתי רמות האיכות.
מתאים ל
- אימון מודלי סנכרון קול
פיתוח מערכות forced alignment שיודעות לחבר בין טקסט כתוב לאודיו ברמת המילה והפונמה.
- אימון זיהוי דיבור פונטי
אימון והערכה של מודלי ASR שמסתמכים על חיזוי פונמות במקום טקסט גולמי ישיר.
- חיתוך אוטומטי של דגימות
שימוש בחותמות הזמן כדי לחלץ מקטעי מילים או צלילים בודדים עבור משימות מחקר ועיבוד קול.
איפה זה נופל
כל החומר מבוסס על אנגלית בלבד ועל הקראת ספרים על ידי מתנדבים. אין כאן דיבור ספונטני, שיחות רקע, קטיעות הדדיות או עברית, כך שמודל שיאומן עליו בלבד יתקשה מאוד להתמודד עם שיחות טלפון אמיתיות או שירות לקוחות. מעבר לזה, הסנכרון עצמו נוצר באופן אוטומטי על ידי כלי תוכנה ולא אומת ידנית אחד לאחד, ולכן ייתכנו סטיות זמנים ושגיאות, במיוחד במקומות שבהם מופיעים טוקנים מסוג UNK.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון CC-BY-4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או מוצרים שיימכרו ללקוחות. הדרישה היחידה היא מתן קרדיט ברור ליוצרי המאגר והסנכרון לפי ההנחיות במסמך.
במה המאגר הזה שונה מ־LibriSpeech הרגיל?
ההבדל המרכזי הוא קיומן של חותמות זמן מדויקות לתחילת וסיום כל מילה ופונמה. בליבריספיץ׳ המקורי יש רק קובץ אודיו ותמלול מלא של המקטע, בעוד שכאן נוספה שכבת המידע שנוצרה באמצעות כלי הסנכרון של מונטריאול.
האם יש במאגר דגימות בעברית?
לא, המאגר כולל אך ורק אנגלית שמקורה בספרי שמע שהוקראו במסגרת פרויקט LibriVox. אם אתם מחפשים נתונים לאימון דיבור בעברית, המאגר הזה לא יתאים לכם.
האם נתוני הסנכרון מדויקים במאה אחוז?
לא לחלוטין. הסנכרון נוצר אוטומטית באמצעות כלי ייעודי מבוסס Kaldi ולא נבדק ידנית על ידי בני אדם, כך שעלולים להיות אי דיוקים בחותמות הזמן או מילים שלא זוהו כראוי.
איך טוענים
הנתונים מוגשים בפורמט Parquet בחלוקה ל־135 קבצים, בהתאם לפיצול המקורי של הסטים השונים, מה שמאפשר להוריד רק את החלק הדרוש לכם בלי למשוך את כל 1,000 השעות בבת אחת. הגישה חופשית לגמרי ואינה דורשת אישור מיוחד. בעבודה השוטפת השדות הקריטיים הם audio, transcript, ושני מערכי הנתונים words ו־phonemes, שמכילים את זמני ה־start וה־end שסביבם נבנה המאגר.
from datasets import load_dataset
ds = load_dataset("gilkeyio/librispeech-alignments")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0. המשמעות היא שאתם רשאים לעשות בו שימוש מסחרי מלא, לשנות אותו ולבנות עליו מודלים, כל עוד אתם נותנים קרדיט מתאים ליוצרים המקוריים של ליבריספיץ׳ וליוצרי הסנכרון. אין חובה לשתף את המודל או את המוצר שלכם תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס