multilingual-tts
קוד פתוחMohamedRashadgpl-3.02023-12-01
מאגר סינתטי של דיבור רב לשוני שנועד לאימון מודלי הקראה. הוא מתמקד במשפטים שמשלבים כמה שפות באותו קטע, תחום שבו קשה להשיג הקלטות אנושיות נקיות.
- 220הורדות בחודש
- 50לייקים
מה זה
המאגר כולל 25,000 דגימות של טקסט ואודיו תואם. הטקסטים מכסים נושאים מגוונים כמו שיחות יומיומיות, קטעי חדשות ומידע כללי, אך המאפיין המרכזי כאן הוא שכל משפט מכיל שילוב מכוון של לפחות שתי שפות שונות במקביל. השפות המוצהרות כוללות ערבית ספרותית, אנגלית, צרפתית, גרמנית, ספרדית, פורטוגזית, רוסית, טורקית, הינדי, בנגלית, סינית, יפנית, וייטנאמית, אינדונזית ואורדו.
כל התוכן בדאטהסט נוצר בצורה מלאכותית לחלוטין. הטקסטים נכתבו על ידי המודל GPT-4 של חברת OpenAI במטרה לייצר שילובים רב לשוניים, וקבצי הקול הופקו באמצעות מנוע ההקראה Elevenlabs Multilingual V2 כדי להבטיח איכות שמע גבוהה ורציפה.
מתאים ל
- אימון מודלי הקראה
שיפור יכולת המודל לעבור בין שפות שונות בתוך אותו משפט.
- בדיקת ביצועים רב לשונית
מבחן עומס למערכות דיבור מול טקסטים שמערבבים ניבים ושפות.
- בדיקת אינטגרציית שפות
בחינת יכולת של מנועי קול להתמודד עם מעברים פתאומיים בין אוצרות מילים.
איפה זה נופל
זהו דאטהסט סינתטי לגמרי שנוצר על ידי מכונה. הוא משקף את ההטיות, טעויות ההגייה והסגנון של GPT-4 ושל Elevenlabs, ולא דיבור אנושי אותנטי מהשטח. בנוסף, עברית נעדרת לחלוטין מרשימת השפות, כך שהוא לא יעזור למוצרים שמכוונים לקהל מקומי. המידע בכרטיס לא מציין מדדי הערכה חיצוניים, שעות הקלטה כוללות, או פירוט על שיעורי שגיאה במעברי השפות.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מכיל 15 שפות אחרות, ביניהן ערבית ספרותית, אנגלית, גרמנית, רוסית וסינית, אך עברית אינה חלק מהרשימה.
האם מותר להשתמש בו למוצר מסחרי סגור?
הרישיון הוא GPL-3.0 שמחייב שיתוף של יצירות נגזרות תחת אותו הרישיון בדיוק. שימוש בו לפיתוח מודל קנייני סגור עלול לחייב אתכם לחשוף את הקוד והתוצרים, ולכן מומלץ להתייעץ עם משפטן.
מאיפה הגיעו קבצי השמע והטקסט?
הנתונים נוצרו במלואם על ידי בינה מלאכותית. GPT-4 ייצר את המשפטים הרב לשוניים, ומנוע Elevenlabs Multilingual V2 הפיק מהם את קובצי השמע.
כמה שורות יש בדאטהסט ואיך הוא בנוי?
הוא מכיל 25,000 רשומות המחולקות לארבעה קבצי Parquet שמכילים נתוני אימון. כל רשומה מורכבת ממשפט שמשלב לפחות שתי שפות שונות והאודיו התואם שלו.
איך טוענים
הנתונים מחולקים לארבעה קבצי Parquet תחת תיקיית data, בסך הכל כחלק מפיצול יחיד של train. אפשר לטעון אותם ישירות דרך ספריית datasets הרגילה בלי צורך בהרשאת גישה מיוחדת או מפתחות. הקבצים מכילים את הטקסט והאודיו, ומאחר שמדובר באלפי קטעי קול, כדאי להגדיר סטרימינג כדי לחסוך מקום בזיכרון בזמן העבודה.
from datasets import load_dataset
ds = load_dataset("MohamedRashad/multilingual-tts")הרישיון
הרישיון המדווח הוא GPL-3.0. מדובר ברישיון קוד פתוח עם תנאי הדבקה מחמירים המחייבים שיתוף תחת אותו רישיון. אם תאמנו עליו מודל ותפיצו אותו, ייתכן שתחויבו לשחרר את המשקלים או את קוד הפרויקט באותם תנאים. לשימוש מסחרי בקוד סגור זה עשוי להוות מכשול משפטי רציני.