khanacademy-turkish

מה זה

המאגר מכיל הקלטות קול שנחתכו מתוך ערוץ היוטיוב הטורקי של חאן אקדמי, בהיקף של בין עשרת אלפים למאה אלף רשומות. כל רשומה כוללת מקטע אודיו בודד באורך ממוצע של עשר נקודה חמש שניות, לצד תמלול טקסטואלי תואם.

איסוף המידע התבסס על המרת האודיו למונו בקצב דגימה של שישה עשר קילוהרץ בפורמט אמ פי שלוש. היוצר הפעיל זיהוי קולי וחיבור מאולץ לחיתוך מדויק, וערך את הטקסט כדי שיתאים למוסכמות המספרים בטורקית, שבה נקודה משמשת להפרדת אלפים ופסיק לשברים עשרוניים. התוכן מחולק לערכות אימון ומבחן.

מתאים ל

• אימון זיהוי דיבור בטורקית

  פיתוח מודלי תמלול עבור הרצאות, קורסים ותכנים לימודיים בטורקית סטנדרטית.

• הקראת טקסט חינוכי

  אימון מודלי הקראה שצריכים לבטא מושגים היסטוריים ומדעיים בקצב מדוד.

• בדיקת התאמת קול לטקסט

  הערכת ביצועים של מודלי יישור בין קובצי קול לתמלולים קיימים.

איפה זה נופל

ההקלטות מגיעות כולן מסרטוני הדרכה, מה שאומר דיבור מוקפד, ברור ומונוטוני יחסית, שלא מייצג שיחות יומיומיות, רעשי רקע אותנטיים או סלנג. חלוקת הנושאים מוטה מאוד לתולדות האמנות, היסטוריה ומעט רובוטיקה וכימיה. אין כאן בכלל עברית או שפות אחרות מלבד טורקית, והמקור הוא סרטונים קיימים שכבר עברו דיבוב או עריכה, מה שעלול לייצר חוסר התאמה אם המטרה היא זיהוי קול טבעי ברחוב.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטים של האגינג פייס ללא צורך באישור גישה. המאגר כולל שישה קבצים, מתוכם קובץ בדיקה אחד ושלושה קבצי אימון בפורמט פארקט שמכילים את האודיו הדחוס והתמלולים. צריך לקחת בחשבון נפח הורדה של עשרות שעות שמע, ולוודא שהסביבה שלכם מוכנה לקבל דגימות בקצב של שישה עשר קילוהרץ לפני שמתחילים בעיבוד המאפיינים.

from datasets import load_dataset

ds = load_dataset("ysdede/khanacademy-turkish")

הרישיון

יש פה סתירה שחובה לשים לב אליה. המטאדאטה מציג רישיון שיתוף זהה מסוג סי סי בי וואי אס איי שלוש, אבל הטקסט עצמו מבהיר שחומרי חאן אקדמי כפופים לרישיון שאינו מסחרי כלל. אסור להשתמש בזה למוצר מסחרי, חובה לתת קרדיט מלא לפי ההנחיות שלהם, וכל מודל או נגזרת שתפיצו יחויבו באותם תנאים מגבילים בדיוק.

הרישיון המלא ב־Hugging Face ↗