BibleMMS
קוד פתוחFlux9665mit2024-06-10
המאגר כולל דיבור מסונתז באלפי שפות עבור משימות טקסט לדיבור. הוא נבנה במקור כדי לתמוך במחקר על למידת מטה להפקת קול בשפות עם מעט מאוד משאבים קיימים.
- 972הורדות בחודש
- 82לייקים
מה זה
הנתונים נוצרו עבור המאמר המדעי על למידת מטה בטקסט לדיבור בלמעלה מ־7,000 שפות שהוצג בכנס Interspeech 2024. החוקרים לקחו טקסטים מתוך מאגר eBible, תוך שימוש בלעדי בחלקים ששוחררו ברישיונות חופשיים, והזינו אותם כקלט למודלי הדיבור של פרויקט MMS מבית מטא. התוצאה היא אוסף רחב מאוד של הגייה ממוחשבת עבור קודים שונים בתקן ISO-639-3.
בפועל יצרו 2,000 היגדים מדוברים לכל שפה שנכללת במחקר. המאגר אינו מציג הקלטות של בני אדם מקוריים, אלא תוצרי שמע מודל שמבוססים על תרגומי ספרי תנ"ך וברית חדשה. החלוקה בקבצים מסודרת ברצף של אימוני train, ללא פיצול מובנה מראש של ולידציה או מבחן בכרטיס המאגר, וכל המידע מאורגן לפי חלקי שפות שונים שנועדו להקל על אימון משותף בריבוי שפות.
מתאים ל
- אימון מודלי קול בריבוי שפות
בניית מודלי דיבור שמכוונים לשפות נדירות שאין להן הקלטות אנושיות זמינות ברשת.
- מחקר למידת מטה
בדיקת יכולת העברה של תכונות קוליות בין שפות שונות עם משאבים מוגבלים.
- הערכת עמידות מודלים
בחינה כיצד מודלי פענוח קול מתמודדים עם שמע סינתטי באוצר מילים מגוון.
איפה זה נופל
השמע אינו דיבור אנושי אותנטי אלא פלט מסונתז שנוצר בעצמו על ידי מודל MMS, ולכן כל פגם, עיוות או מבטא מלאכותי שהיו במודל המקורי עברו ישירות פנימה. הטקסטים מגיעים כולם מהקשר של תרגומי כתבי קודש, מה שמייצר אוצר מילים ארכאי, דתי וספציפי שרחוק משיחות יומיום. בנוסף, הכרטיס אינו מפרט חלוקה מבוקרת למבחן ואינו מפרט אילו שפות בדיוק מייצרות תוצאה שמישה ואיכותית.
שאלות
נפוצות
האם המאגר חוקי ומותר לשימוש מסחרי?
כן, הרישיון המדווח הוא MIT. מותר להשתמש בנתונים, לשנות אותם ולאמן עליהם מודלים מסחריים, כל עוד מצרפים את תנאי הרישיון המקורי.
האם יש במאגר הקלטות בעברית?
הטקסטים מבוססים על תרגומי eBible לפי קודי שפות ISO-639-3, אך הכרטיס אינו מציג רשימה שמית מלאה אלא מפנה לקודים בלבד. צריך לבדוק ספציפית אם הקוד של עברית נכלל בין הקבצים שחולצו מ־eBible.
איך בדיוק הוקלטו הנתונים?
אף אדם לא הקליט את הנתונים באולפן. החוקרים לקחו את הטקסטים מתוך eBible והזינו אותם ישירות למודלי יצירת הדיבור של MMS כדי לייצר 2,000 קטעי שמע לכל שפה.
האם כדאי להשתמש בזה למוצר קולי רגיל?
לא הייתי ממהר לבנות על זה מוצר דיבור סטנדרטי למשתמשי קצה. השמע מסונתז ומוטה לשפה תנ"כית, כך שהוא מתאים בעיקר למחקר או כבסיס התחלתי לשפות חסרות נתונים לחלוטין.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של Hugging Face או באמצעות קריאת קובצי Parquet ישירות. המאגר פתוח לחלוטין לציבור ואינו דורש הרשאה מיוחדת, אבל יש בו מעל אלף קובצי Parquet שונים שמחזיקים את הדגימות והשמע. תצטרכו להכין מראש מקום אחסון נכבד וחיבור יציב אם אתם מתכננים להוריד את כל החבילה במלואה, או להגדיר פילטור מראש על פי קוד השפה המבוקש.
from datasets import load_dataset
ds = load_dataset("Flux9665/BibleMMS")הרישיון
המאגר שוחרר ברישיון MIT, שמאפשר שימוש מסחרי, מחקרי, שינוי והפצה כמעט ללא הגבלות, מלבד שמירה על הצהרת זכויות היוצרים המקורית. אפשר לאמן עליו מודלים פנימיים או מסחריים בלי חובה לשתף את הקוד שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש