arabic-english-code-switching
קוד פתוחMohamedRashadgpl2024-06-30
המאגר מיועד לזיהוי דיבור שמערבב ערבית ואנגלית באותו המשפט. הוא מציע פתרון ממוקד למי שמאמן מודלים על שיח מעורב, תופעה נפוצה ששוברת מודלים רגילים.
- 225הורדות בחודש
- 34לייקים
מה זה
הנתונים מיועדים למשימות זיהוי דיבור אוטומטי, כשהדגש הוא על מעבר שוטף בין ערבית לאנגלית תוך כדי דיבור. המאגר מבוסס במקור על עבודה קודמת שפורסמה בשם arzen-llm-speech-ds, והיוצר הרחיב אותו באמצעות איסוף קטעים מסרטונים שונים ביוטיוב. לפי התיאור, הקטעים שנאספו מהרשת הכפילו את כמות המידע המקורית לאחר תהליך של ניקוי והסרת כפילויות.
סך הכל המאגר כולל בין עשרת אלפים למאה אלף רשומות שמחולקות לקבצי אימון. אין כאן חלוקה מוגדרת מראש לסט בדיקה או ולידציה, אלא רק נתוני אימון שדורשים מכם לבצע חיתוך עצמאי לפני תחילת העבודה.
מתאים ל
- אימון זיהוי דיבור דו-לשוני
התאמת מודלי שמע לשיחות יומיומיות שמשלבות ביטויים באנגלית ובערבית ברצף.
- בדיקת עמידות מודלים
בחינת מודלי דיבור קיימים מול אודיו מורכב ורועש שמקורו בסרטוני יוטיוב.
- מחקר על החלפת קוד שפתי
ניתוח אקוסטי וטקסטואלי של נקודות המעבר בין ערבית לאנגלית בדיבור טבעי.
איפה זה נופל
הכרטיס כמעט לא מספק פרטים טכניים קריטיים. אין שום פירוט על איכות ההקלטות מיוטיוב, רעשי רקע, מבטאים ספציפיים של הדוברים או אופן יצירת התמלול. בנוסף, אין חלוקה רשמית למבחן, כך שלא ניתן להשוות ביצועים מול מחקרים אחרים בצורה נקייה בלי לחתוך את המידע בעצמכם.
שאלות
נפוצות
האם המאגר כולל נתונים בעברית?
לא, המאגר מתמקד אך ורק בשפות ערבית ואנגלית. הוא לא כולל הקלטות או תמלולים בעברית, ולכן לא מתאים ישירות לזיהוי דיבור מקומי אלא אם מחפשים ללמוד ארכיטקטורה של עירוב שפות.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי סגור?
הרישיון המדווח הוא gpl, מה שמקשה מאוד על שימוש מסחרי בקוד קנייני. שימוש במאגר כזה עלול לחייב אתכם לשחרר את התוצרים ואת המודל המאומן תחת אותו רישיון חופשי.
מאיפה הגיעו קובצי האודיו במאגר?
חלק מהמידע נלקח ממאגר קודם בשם arzen-llm-speech-ds, והשאר נאסף מסרטונים שונים ביוטיוב. היוצר מציין שהמידע שנאסף עבר ניקוי והסרת כפילויות לפני שנוסף למאגר.
האם המידע מחולק כבר לסט אימון וסט בדיקה?
לא, כל הרשומות נמצאות תחת קבצי train בפורמט parquet. אם אתם מתכננים להעריך מודל בצורה מסודרת, תצטרכו להפריד בעצמכם חלק מהנתונים לטובת בדיקה.
איך טוענים
טוענים את המידע ישירות באמצעות ספריית datasets של Hugging Face לפי הנתיב MohamedRashad/arabic-english-code-switching ללא צורך בבקשת גישה מיוחדת. הנתונים מגיעים בשלושה קבצי parquet נפרדים של train מתוך חמישה קבצים במאגר, לכן כדאי להוריד אותם ישירות לסביבת העבודה כדי לחסוך זמן טעינה. מכיוון שמדובר במשימת זיהוי דיבור, תצטרכו לוודא שיש לכם מספיק שטח אחסון מקומי לעיבוד קטעי הקול והתמלילים המצורפים אליהם לפני תחילת האימון.
from datasets import load_dataset
ds = load_dataset("MohamedRashad/arabic-english-code-switching")הרישיון
המאגר מפורסם תחת רישיון gpl, וזה שיקול כבד מאוד אם אתם מתכננים מוצר מסחרי סגור. רישיון כזה דורש שיתוף של הקוד והנגזרות באותו הרישיון, מה שעלול לחייב אתכם לחשוף את המודל או את המערכת שלכם אם תפיצו אותם הלאה.