linto-dataset-audio-ar-tn
קוד פתוחlinagoracc-by-4.02024-09-11
המאגר מרכז קרוב ל־93 שעות של דיבור בערבית תוניסאית מתומללת. הוא מיועד למי שבונה מודלי זיהוי דיבור שצריכים להתמודד עם מעברי שפה טבעיים לצרפתית ולאנגלית.
- 1,114הורדות בחודש
- 22לייקים
מה זה
הנתונים מורכבים מקטעי אודיו קצרים של פחות מ־30 שניות לצד תמלול טקסטואלי, מערך חיתוך זמנים ומערך נתוני גל קול. המקורות מגוונים ומשלבים תכנים מיוטיוב כמו פודקאסטים, חדשות ספורט, סרטים דוקומנטריים והקראת סיפורים, לצד מאגרים קיימים כמו MASC, TunSwitch ואתרי לימוד ייעודיים. העבודה כללה יישור זמנים מול הטקסט, תיקון תמלולים ידני, ניקוי שקט והוספת ריפוד לקטעים קצרים כדי שיתאימו לכלי עיבוד דיבור.
המאגר כולל סך הכל 19 תתי-מאגרים שונים שמחולקים לאימון ולבדיקה. בחלק מתת-המאגרים, למשל אלה שנלקחו מיוטיוב, מופיע רק סט אימון ללא פיצול מוגדר לבדיקה. בנוסף, מתוך כ־93 שעות אודיו כוללות, קצת מעל 81 שעות מוגדרות כמתומללות בפועל ברמת האימון, כך שלא כל פיסת קול מגיעה עם טקסט מקביל.
מתאים ל
- אימון מודלי תמלול בלהג
פיתוח מנועי זיהוי דיבור שממוקדים בערבית תוניסאית יומיומית.
- זיהוי מעברי שפה בדיבור
התמודדות עם משפטים שמשלבים מילים בצרפתית ובאנגלית בתוך שיחה.
- הערכת ביצועי מודלים קיימים
בדיקת דיוק של מודלי שמע על קטעי דיבור חתוכים עם זמנים מדויקים.
איפה זה נופל
חלק משמעותי מהחומר מבוסס על סרטוני יוטיוב ומקורות רשת, מה שמביא איתו רעשי רקע, מוזיקה ואיכות הקלטה לא אחידה. התוכן מתמקד כמעט כולו בלהג תוניסאי עם מעברי שפה לצרפתית ולאנגלית, כך שהוא לא יעזור למי שמחפש ערבית ספרותית נקייה או ניבים מזרחיים יותר. יש גם פער של יותר מעשר שעות בין זמן האודיו הכולל לבין החלק שמתומלל בפועל, ומספר תתי-מאגרים כוללים רק נתוני אימון בלי סט בדיקה נפרד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים שנמכרים כשירות. החובה היחידה היא לציין ייחוס מתאים ליוצרי המאגר.
האם המאגר כולל עברית או ניבים ערביים נוספים?
לא. המאגר מכיל דיבור בערבית תוניסאית בלבד, עם מופעים מסוימים של ערבית ספרונית סטנדרטית ומעברי שפה לצרפתית ולאנגלית. אין בו עברית כלל.
איך נאספו קובצי השמע?
החומר מגיע משילוב של מאגרי דיבור פתוחים ברשת לצד הורדות מיוטיוב של פודקאסטים, חדשות, תוכניות טלוויזיה ותכנים חינוכיים. לאחר מכן בוצע יישור של השמע מול הטקסט וניקוי שקט.
האם כל ההקלטות מגיעות עם תמלול מלא?
לא. מתוך קרוב ל־93 שעות הקלטה כוללות, יש כ־81 שעות של שמע מתומלל לאימון וכשעה ועשרים דקות לבדיקה. שאר השמע אינו כולל תיוג מלא.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם הפקודה load_dataset לתוך אובייקט שמחזיק את החלוקה לאימון ולבדיקה. המאגר פתוח לציבור ללא צורך באישור גישה מיוחד, והקבצים שמורים בפורמט Parquet המחולק לפי תת-המאגרים והפיצולים השונים.
כל רשומה מחזירה את מערך האודיו הגולמי, את התמלול המלא ומערך של מקטעים שמכיל זמני התחלה וסיום לצד תמלול גולמי ותמלול מתוקן. כדאי לשים לב שעיבוד של עשרות שעות אודיו בפורמט כזה דורש נפח אחסון מקומי וזיכרון עבודה מספק בזמן פריקת המערכים.
from datasets import load_dataset
ds = load_dataset("linagora/linto-dataset-audio-ar-tn")הרישיון
המאגר מופץ ברישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, מחקר, שינוי והפצה מחדש, כולל אימון מודלים למוצרים פנימיים או מסחריים. התנאי היחיד הוא מתן קרדיט ברור ליוצרים המקוריים ולמאגרים שמהם נאסף המידע.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס