mls_eng_10k

מה זה

המאגר מבוסס על פרויקט LibriVox שבו מתנדבים מקריאים ספרים מהרשות הציבורית. במקור, החלק האנגלי של Multilingual LibriSpeech כולל כארבעים וארבע וחצי אלף שעות, אבל כאן חתכו תת קבוצה של עשרת אלפים שעות בלבד באנגלית כדי להקל על העבודה.

הצוות של parler-tts סידר מחדש את הארכיונים המקוריים של OpenSLR לתוך קובצי Parquet מודרניים. המטרה של המבנה הזה היא לאפשר הזרמה נוחה ומהירה של קטעי האודיו ישירות לתהליכי אימון בלי צורך להוריד את כל הדאטה מראש לדיסק המקומי. החלוקה הפנימית עוקבת אחרי המבנה המקובל עם פיצול מוגדר מראש לקבוצות train, dev ו־test.

מתאים ל

• אימון מודלי הקראה

  אימון בסיס של מנועי Text to Speech באנגלית שנהנים מהקראה נקייה וברורה של טקסטים ארוכים.

• זיהוי דיבור אוטומטי

  פיתוח והערכה של מודלי ASR על בסיס אודיו שמכיל מגוון רחב של קולות ומבטאים באנגלית.

• הערכת ביצועים נקייה

  בדיקת איכות של מודלי שמע על קובצי הבדיקה המוכנים test ו־dev בלי לגעת בנתוני האימון.

איפה זה נופל

ההקלטות מגיעות ממתנדבים שמקריאים ספרים ישנים, מה שיוצר הטיה מובהקת לאנגלית ספרותית וטון הקראה מודגש. זה לא מתאים למי שבונה מודל לשיחות יומיומיות, לפודקאסטים ספונטניים או לזיהוי דיבור ברעש. איכות המיקרופונים והאקוסטיקה משתנה מאוד בין מקליט למקליט. בנוסף, אין כאן מילה אחת בעברית או שפות אחרות, מדובר באנגלית בלבד.

אותה משפחה

mls-eng יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך באישור גישה ידני או מילוי טפסים. המאגר כולל 321 קבצים בסך הכל, כשאימון מחולק על פני 317 קובצי parquet, לצד קובץ יחיד ל־dev וקובץ יחיד ל־test. הפורמט הזה מתאים במיוחד למצב streaming, שמונע חנק של הדיסק המקומי בהורדה של מיליוני רשומות.

from datasets import load_dataset

ds = load_dataset("parler-tts/mls_eng_10k")

הרישיון

המאגר מופץ תחת רישיון cc-by-4.0 ומבוסס על הקלטות ברשות הציבור. אפשר להשתמש בחומרים למטרות מסחריות ולמחקר, לשנות אותם ולאמן עליהם מודלים. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים המקוריים לפי תנאי הרישיון, בלי צורך לשחרר את המודלים שלכם באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗