ArVoice
קוד פתוחMBZUAIcc-by-4.02025-05-02
מאגר קולות בערבית ספרותית שכולל תמלול מלא עם ניקוד. הוא נבנה במיוחד לאימון מודלי דיבור מרובי דוברים, משימה שבה חסרים נתונים מנוקדים ברמת דיוק גבוהה.
- 684הורדות בחודש
- 33לייקים
מה זה
הפרויקט כולו מכיל 83.52 שעות של דיבור בערבית ספרותית תקנית על פני 11 דוברים שונים, אבל המאגר הפתוח כאן מחזיק בפועל רק שני חלקים ספציפיים מתוכו. החלק הראשון שזמין ישירות הוא תת קבוצה של ה Arabic Speech Corpus, הכוללת 2.69 שעות של דובר אנושי יחיד מסוריה. החלק השני מורכב מ 73.5 שעות של שמע סינתטי שנוצר באמצעות מערכות מסחריות, עם ארבעה קולות ממוחשבים על בסיס טקסטים ממאגרי תשכילה, ח'ליג' ו ASC.
ארבעת החלקים האחרים בפרויקט כוללים הקלטות מקצועיות של קריינים אנושיים ממצרים, ירדן, מרוקו ופלסטין, בהיקף של קצת יותר משבע שעות, אך הם לא נמצאים בהורדה הישירה. הרשומות הזמינות מגיעות בפורמט פרקט ומחולקות לסט אימון ובדיקה. כל רשומה כוללת את קובץ השמע המקורי, גרסה מנורמלת שלו, מזהה דובר ואת התמלול המנוקד.
מתאים ל
- אימון מודלי הקראה
אימון מערכות המרת טקסט לדיבור בערבית ספרותית על בסיס הטקסטים המנוקדים והשמע הסינתטי.
- זיהוי זיופי קול
פיתוח מסווגים שמבדילים בין קול אנושי לבין שמע שנוצר בכלים מסחריים, בזכות 73 שעות השמע הסינתטי.
- שחזור ניקוד אוטומטי
שימוש בתמלולים המנוקדים באופן מלא כדי לאמן מודלים שמוסיפים תנועות לטקסט ערבי לא מנוקד.
- בדיקת מערכות זיהוי דיבור
הערכת ביצועים של מודלי תמלול על ערבית תקנית תוך בדיקת הדיוק בניקוד ובמבטאים ספציפיים.
איפה זה נופל
אם אתם מורידים את המאגר ישירות, רובו המוחלט הוא דיבור סינתטי ממערכות מסחריות ולא קול אנושי אותנטי. יש כאן רק דובר אנושי יחיד עם פחות משלוש שעות הקלטה, מה שלא מספיק לבדו למודל מרובה דוברים. המאגר מוגבל כולו לערבית ספרותית תקנית, כך שהוא לא יעזור אם המוצר שלכם מכוון ללהגים מדוברים כמו מדוברת מצרית או לבנטינית. בנוסף, חסר כאן כל ייצוג לעברית או לשפות אזוריות אחרות.
שאלות
נפוצות
האם המאגר הזה זמין לשימוש מסחרי חופשי?
הרישיון המוצהר בדף הוא רישיון חופשי מסוג ייחוס 4.0 שמתיר שימוש מסחרי בכפוף לציטוט המחברים. יחד עם זאת, החלקים האנושיים העיקריים דורשים חתימה על הסכם שימוש חיצוני נפרד שנשלח במייל, ושם עשויות לחול הגבלות שלא מופיעות ברישיון הבסיסי. בנוסף, רוב המאגר מורכב משמע סינתטי ממערכות מסחריות, ויש לוודא שזה מתיישב עם תנאי השימוש של אותן מערכות.
האם יש במאגר שפות נוספות כמו עברית?
לא, המאגר מוקדש כולו לשפה הערבית בלבד, וספציפית לערבית ספרותית תקנית עם ניקוד מלא. הוא אינו מכיל דגימות בעברית, באנגלית או באף שפה אזורית אחרת. הוא גם אינו מכיל להגים ערביים מדוברים, אלא רק טקסטים קלאסיים ורשמיים.
מה בדיוק מקבלים כשמורידים את המאגר ישירות?
אתם מקבלים רק את תת הקבוצה של מאגר ASC שכוללת דובר אנושי סורי אחד, לצד 73.5 שעות של שמע שנוצר במחשב. שאר ההקלטות של ששת הקריינים המקצועיים ממצרים, מרוקו, ירדן ופלסטין אינן פתוחות להורדה מיידית. כדי להשיג אותן תצטרכו להוריד את קובץ ה PDF שמצורף בריפו, למלא אותו ולשלוח לחוקרים.
איך טוענים
אתם טוענים את הנתונים ישירות דרך הספרייה הרגילה של הגינג פייס, אבל חייבים לציין קונפיגורציה מתאימה: Human_3 עבור הקלטות הדובר האנושי, או Synthetic עבור הקבצים המסונתזים. אין צורך באישור מראש כדי להוריד את שני החלקים האלה, והם מחולקים לקובצי פרקט. אם אתם בונים על הקולות האנושיים המקצועיים מחלקים 1 ו 2, תצטרכו להוריד את קובץ הסכם המשתמש שמצורף במאגר, לחתום עליו ולשלוח אותו במייל לחוקרים כדי לקבל גישה. הרשומות מספקות גם שמע גולמי וגם שמע מנורמל, כך שכדאי לשים לב באיזה שדה משתמשים בפייפליין.
from datasets import load_dataset
ds = load_dataset("MBZUAI/ArVoice")הרישיון
הרישיון הרשמי שמופיע בדף הוא קריאייטיב קומונס ייחוס 4.0. המשמעות היא שאתם רשאים להשתמש בנתונים לכל מטרה, כולל פיתוח מודלים מסחריים והפצתם, בתנאי שאתם נותנים קרדיט מלא ומצטטים את המאמר האקדמי של החוקרים. עם זאת, אם אתם פונים לבקש את החלקים הנעולים שדורשים חתימה על הסכם שימוש נפרד, תצטרכו לבדוק היטב אילו תנאים משפטיים מופיעים באותו מסמך לפני שילוב הנתונים במוצר שלכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס