multilingual_audio_alignments

מה זה

כל רשומה כוללת אות שמע שנדגם בתדר של 16 קילוהרץ, תמלול טקסטואלי מלא, ייצוג פונטי באלפבית פונטי בינלאומי, ומערכים שמגדירים את זמני ההתחלה והסיום של כל מילה ופונמה. הנתונים מגיעים משילוב של מאגרי שמע קיימים, ביניהם קולות של משחקים, ספרי שמע ציבוריים, הרצאות ושיחות פרלמנטריות, כאשר לכל שפה נבחרו מקורות שונים.

העיבוד בוצע באמצעות הכלי Montreal Forced Aligner על בסיס מודלים אקוסטיים ייעודיים לכל שפה. במהלך העיבוד הטקסט והשמע פוצלו וסוננו בנקודות שבהן הופיעו מילים לא מזוהות או סימוני רעש דיבור, לצד סינון של קטעים שלא עמדו בספי אורך מינימליים ומקסימליים או בספירת מילים נדרשת.

מתאים ל

• עריכת דיבור מדויקת

  אימון מודלים להחלפה, מחיקה או הוספה של מילים בתוך הקלטת שמע קיימת לפי זמנים מדויקים.

• אימון מנועי הקראה

  בניית מודלי דיבור מבוססי טקסט שדורשים למידה על ייצוגי פונמות וזמני הגייה מוגדרים.

• זיהוי דיבור ברמת פונמות

  פיתוח מודלי זיהוי שמע שמתמקדים בחילוץ פונטי או בדיקת איכות הגייה בשפות נתמכות.

איפה זה נופל

עברית לא נכללת במאגר, והוא מוגבל לעשר שפות בלבד. בנוסף, מספר השעות והדגימות המדויק לכל שפה לא מפורט בכרטיס, והיקף של מעל עשרים אלף שעות הוא הערכה כללית בלבד. מאחר שהחיתוך נעשה בצורה אוטומטית לחלוטין על ידי מודל יישור, תיתכנה סטיות תזמון בקטעים רועשים או במבטאים חריגים.

איך טוענים

טוענים את המידע באמצעות ספריית datasets עם ציון השפה הרצויה כתצורה, למשל אנגלית או גרמנית, תחת החלוקה train. המאגר פתוח לגישה חופשית ללא צורך באישור, ומאוחסן בפורמט פרקט שמחולק לאלפי קבצים. השדות המרכזיים לעבודה הם phonemes ו־words שמחזיקים את נתוני התזמון, ושדה audio שמחזיר את מערך הדגימות.

from datasets import load_dataset

ds = load_dataset("AAdonis/multilingual_audio_alignments")

הרישיון

הרישיון המוצהר הוא CC-BY-4.0 שמתיר שימוש מסחרי, שינוי והפצה, בתנאי שניתן קרדיט מתאים ליוצרים. עם זאת, המאגר מורכב מאיסוף של מקורות שונים כמו משחקים וספרי שמע, והיוצרים מציינים שיש לציית גם לתנאי הרישיון המקוריים של כל מאגר מקור.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗