multilingual-phonemes-10k-alpha
קוד פתוחstyletts2-communitycc-by-sa-3.02023-11-27
המאגר מרכז צמדים של טקסט ופונמות ב־15 שפות שונות עבור אימון מודלי דיבור. הוא מיועד למי שבונה מודל TTS רב לשוני וצריך מיפוי פונטי מוכן מראש בלי להריץ פונמיזציה עצמאית.
- 1,244הורדות בחודש
- 38לייקים
מה זה
הנתונים מבוססים על קובץ הפרקט הראשון של ויקיפדיה בכל שפה נתמכת, שעבר ניקוי טקסט, סינון ביטויים קצרים מדי והמרה לפונמות. המבנה מחולק לקובצי JSON לפי קוד שפה, כשכל שפה כוללת בערך עשרת אלפים שורות. בסך הכל יש כאן כמאה וחמישים אלף צמדים רב לשוניים.
בנוסף לחלוקה הרגילה, קיים קובץ אנגלית מורחב שמכיל עוד מאה אלף צמדים ייחודיים שלא מופיעים בקובץ האנגלית הבסיסי. השפות כוללות בין היתר אנגלית, קטלאנית, גרמנית, יוונית, פרסית, רוסית, שוודית, אוקראינית וסינית, שנשמרות כל אחת בקובץ נפרד.
מתאים ל
- אימון מודלי הקראה
אימון שכבות הפיענוח הפונטי במודלי TTS כמו סטייל טי-טי-אס עבור שפות אירופיות.
- הערכת כלי פונמיזציה
בדיקת איכות של ממירי טקסט לפונמות מול נתוני ויקיפדיה מוכנים מראש.
- הרחבת מילון הגייה
מיפוי מילים כתובות לייצוג הפונטי שלהן במחקר בלשני חישובי מרובה שפות.
איפה זה נופל
עברית לא נתמכת כאן כלל. המאגר נשען על קובץ ויקיפדיה בודד לכל שפה, מה שמייצר טקסטים בסגנון אנציקלופדי בלבד ומפספס שפה יומיומית או דיאלוגים. מעבר לזה, הכרטיס מזהיר ששפות מזרח אסיה הן ניסיוניות לחלוטין. בסינית אין הפרדה בין כתב מסורתי למפושט והנתונים מורכבים בעיקר מסינית מפושטת, כך שחובה להמיר תווים ידנית בזמן הסקת מסקנות כדי למנוע שגיאות.
שאלות
נפוצות
האם הדאטהסט כולל שפה עברית?
לא, עברית לא נכללת ברשימת 15 השפות של המאגר. המאגר מתמקד בעיקר בשפות אירופיות לצד פרסית וסינית. אם אתם מחפשים משאב לדיבור בעברית תצטרכו לפנות למקורות אחרים.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אך כולל דרישת ייחוס וחובת שיתוף זהה. משמעות הדבר היא שכל עיבוד של הדאטהסט עצמו חייב להיות משוחרר תחת אותו רישיון בדיוק. בשימוש לאימון מודלים, מומלץ לבדוק את הסיכון המשפטי סביב הגדרת המשקולות כיצירה נגזרת.
איך נאספו ועובדו הנתונים בפועל?
היוצרים הורידו את קובץ הפרקט הראשון של ויקיפדיה עבור כל שפה נתמכת. לאחר מכן הם הריצו סקריפטים לניקוי הטקסט, מחקו ביטויים קצרים מדי וביצעו המרה לפונמות. התוצאה הסופית נשמרה בקובצי ג'ייסון נפרדים לכל שפה.
מה המשמעות של גרסת האלפא בשם המאגר?
מדובר בגרסה ראשונית ולא סופית של הנתונים, עם דגש על בדיקות היתכנות. המפתחים עצמם מציינים שחלק מהשפות, כמו סינית, הן ניסיוניות ודורשות עיבוד נוסף מצד המשתמש. לא מומלץ להסתמך על הנתונים בעיניים עצומות ללא בדיקת איכות ידנית.
איך טוענים
טוענים את הנתונים ישירות מקובצי ה־JSON הפתוחים במאגר, ללא צורך באישור גישה מוקדם או הרשאות מיוחדות. המאגר מכיל 19 קבצים, והמבנה מסודר כך שכל שפה יושבת בקובץ נפרד, למשל קובץ לאנגלית, קובץ לגרמנית או קובץ ייעודי לאנגלית המורחבת. כל רשומה כוללת את הטקסט הנקי ואת הייצוג הפונטי שלו, כך שניתן למשוך רק את השפות הדרושות למודל שלכם ישירות לזיכרון.
from datasets import load_dataset
ds = load_dataset("styletts2-community/multilingual-phonemes-10k-alpha")הרישיון
הרישיון הוא CC-BY-SA 3.0, בדיוק כמו נתוני המקור של ויקיפדיה. מותר להשתמש בנתונים גם לפרויקטים מסחריים, אך חובה לתת קרדיט מתאים. הסעיף המגביל ביותר הוא השיתוף הזהה, שמחייב אתכם לשחרר כל נגזרת של הדאטהסט תחת אותו רישיון. אם אתם מאמנים מודל, קחו בחשבון שיש פרשנויות משפטיות שונות לגבי השאלה האם משקולות המודל נחשבות יצירה נגזרת שחייבת להיפתח.