amharic-speech
קוד פתוחsnapwrecc-by-4.02026-08-25
המאגר מספק מעל חמישים שעות של הקראת משפטים באמהרית מפי כמעט חמש מאות דוברים שונים. הוא מתאים למי שבונה זיהוי קולי לשפה שחסרה כמעט לחלוטין נתונים פתוחים ברשת.
- 550הורדות בחודש
- 24לייקים
מה זה
כל רשומה מכילה קטע שמע, את הטקסט המדויק שהדובר התבקש להקריא באלפבית געז, מזהה דובר אנונימי, חותמות זמן של הדיבור ונתונים דמוגרפיים שדווחו עצמאית. ההקלטות נאספו בטלגרם ממשתמשים באתיופיה שקיבלו תשלום בזמן אוויר לנייד, עברו הצבעה וסינון של משתמשים אחרים, ולבסוף בדיקה אקוסטית שהורידה שתים עשרה נקודה אחת מההקלטות עקב רעשים, קטיעות או שקט.
החלוקה לחלקים מפרידה לחלוטין בין הדוברים ובין הטקסטים, כך ששום קול או משפט לא חוזרים על עצמם בין האימון למבחן. סט האימון כולל 42.126 שעות ו־360 דוברים, סט הבדיקה כולל 4.722 שעות ו־105 דוברים, וסט האימות מונה 4.699 שעות ו־28 דוברים.
מתאים ל
- אימון מודלי ASR לאמהרית
התאמה של מודלים קיימים כמו Whisper לזיהוי דיבור מוקרא באמהרית עם תעתיק מדויק.
- הערכת ביצועי תמלול
בדיקת מודלים על סט מבחן מופרד לחלוטין מבחינת דוברים ומשפטים, המונע זיהוי יתר.
- מחקר דמוגרפי ואקוסטי
ניתוח הבדלי דיבור לפי מגדר, שכבות גיל ואזורים באתיופיה על בסיס התיוג העצמי.
איפה זה נופל
הנתונים מוטים מאוד לצעירים ועירוניים: מעל שבעים ושמונה אחוזים מההקלטות שייכים לגילאי 18 עד 24, וכמעט שבעים אחוזים מגיעים מגברים. מעבר לכך, מדובר בהקראה של טקסטים רשמיים מטלגרם ולא בדיבור שיחתי טבעי, עם כל ארטיפקטי הדחיסה של מקודד Opus. המאגר לא ייצג היטב מבוגרים, אוכלוסייה כפרית או שפה יומיומית, ואין בדיקה אוטומטית שמוודאת שהדוברים לא פלטו פרטים מזהים בקולם בזמן ההקראה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, רישיון CC-BY-4.0 מתיר שימוש מסחרי מלא. התנאי הוא מתן קרדיט ברור ליוצרי המאגר לפי ההנחיות שלהם.
האם יש במאגר שפות נוספות מלבד אמהרית?
לא. המאגר כולל אך ורק הקלטות באמהרית, והטקסטים כתובים בכתב געז בלבד. אין בו שום תמיכה בעברית או בשפות אחרות.
כיצד הנתונים הוקלטו ונאספו?
האיסוף התבצע באתיופיה באמצעות בוט טלגרם שבו מתנדבים הקריאו משפטים שהוצגו להם. מתנדבים אחרים האזינו והצביעו אם ההקלטה תואמת לטקסט בתמורה לזיכוי זמן אוויר בנייד.
האם ההקלטות חתוכות ונקיות מרעשים ושקט?
לא לגמרי. השמע עצמו לא נחתך אלא נשמר כפי שהוקלט, אך הנתונים כוללים עמודות עם נקודות ההתחלה והסיום של הדיבור כדי שתוכלו לחתוך את השקט בעצמכם.
איך טוענים
טוענים את הנתונים ישירות בעזרת הספרייה של Hugging Face בפקודת load_dataset, ללא צורך באישור גישה מראש. השמע מקודד במקור כ־FLAC מונו בתדר דגימה של 16 קילו־הרץ שנשמר בקובצי Parquet, לצד קובץ מטא־דאטה בפורמט CSV שמאפשר לבדוק את כל השדות הטקסטואליים בלי להוריד את קובצי האודיו. שימו לב שהקטעים לא נחתכו מראש, כך שכדאי להשתמש בעמודות של תחילת וסיום הדיבור כדי להסיר שקט בזמן העיבוד.
from datasets import load_dataset
ds = load_dataset("snapwre/amharic-speech")הרישיון
המאגר מופץ תחת רישיון CC-BY-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ואינו דורש שיתוף תחת אותו רישיון עבור המודל שאימנתם. הדרישה היחידה היא מתן קרדיט וייחוס מתאים ליוצרים, Snapwre Technologies ותורמי המאגר.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס