VietMed
קוד פתוחleduckhaimit2023-10-27
המאגר מרכז הקלטות קוליות בוייטנאמית בתחום הרפואי עבור זיהוי דיבור אוטומטי. הוא כולל אודיו מתויג לצד היקף עצום של הקלטות לא מתויגות שמתאימות לאימון מקדים.
- 539הורדות בחודש
- 25לייקים
מה זה
המאגר מחולק לשלושה חלקים עיקריים של הקלטות אודיו בוייטנאמית. יש בו 16 שעות של דיבור רפואי מתויג עם תמלול, 1,000 שעות של דיבור רפואי לא מתויג, ועוד 1,200 שעות של דיבור לא מתויג מתחומים כלליים. לפי הכרטיס, החומר הרפואי מכסה את כל קבוצות המחלות לפי סיווג ICD-10, מגוון מבטאים מקומיים בוייטנאם, תנאי הקלטה שונים ותפקידי דוברים שונים.
בתוך המאגר בהאגינג פייס תמצאו חלוקה לקבצי parquet עבור train, dev, test ו־cv, לצד קבצי מטא-דאטה בפורמט אקסל עבור הנתונים המתויגים והלא מתויגים, וקובץ zip שמכיל הקלטות. הנתונים הלא מתויגים המלאים והמודלים המאומנים מנוהלים דרך קישור חיצוני לגוגל דרייב ולא יושבים ישירות במאגר עצמו.
מתאים ל
- אימון מודלי ASR בוייטנאמית
כוונון עדין של מודלי זיהוי דיבור למונחים רפואיים, מחלות ודיאלוגים קליניים בוייטנאמית.
- אימון מקדים בלמידה עצמית
שימוש ביותר מ־2,200 שעות של אודיו לא מתויג לאימון מודלי בסיס קוליים לפני שלב התמלול.
- הערכת ביצועי תמלול רפואי
בדיקת דיוק של מודלי דיבור קיימים מול מבטאים וייטנאמיים שונים וסיווגי מחלות ICD-10.
איפה זה נופל
ההגבלה המרכזית היא השפה, המאגר כולו בוייטנאמית בלבד ואינו רלוונטי למי שמפתח פתרונות בעברית או באנגלית. הכרטיס מציין במפורש שהתמלול נעשה בידי אדם, ולכן מילים בודדות בתחילת או בסוף ההקלטות עלולות להיות חסרות אם הן נאמרו מהר מדי, בפחות משנייה אחת. בנוסף, מתוך יותר מ־2,200 שעות הקלטה, רק 16 שעות מתויגות, מה שמשאיר את רוב הנפח לשיטות אימון עצמי בלבד.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מוקדש כולו לשפה הוייטנאמית ומכיל הקלטות ומבטאים מקומיים מווייטנאם בלבד. אם המוצר שלכם מיועד לשוק המקומי בישראל, אין כאן נתוני שמע רלוונטיים.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי מלא ללא הגבלת רישוי על המודל שתאמנו. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקוד או בהפצה.
האם כל האודיו נמצא ישירות בהאגינג פייס?
לא. המאגר כאן מחזיק בעיקר את 16 השעות המתויגות, קובצי parquet ומטא-דאטה. כדי לגשת לכל 2,200 השעות הלא מתויגות, צריך להוריד אותן מתיקיית גוגל דרייב חיצונית שמופיעה בתיאור.
מהי בעיית הדיוק בתמלול שמצוינת בכרטיס?
המתמללים האנושיים התקשו לעקוב אחרי מילים שנאמרו במהירות של פחות משנייה. כתוצאה מכך, מילה אחת או שתיים בתחילת המשפט או בסופו עלולות להישמט מהטקסט הכתוב.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה הרגילה של Hugging Face מהמאגר leduckhai/VietMed. אין צורך לבקש אישור גישה מראש. הקבצים המתויגים מגיעים בחלוקות parquet מוכנות לעבודה, אבל אם אתם מתכננים להשתמש בכל אלפי השעות הלא מתויגות, תצטרכו להוריד אותן ידנית מתיקיית הגוגל דרייב של החוקר. בדקו את קובצי המטא-דאטה כדי להבין את השדות וההקשר של כל הקלטה.
from datasets import load_dataset
ds = load_dataset("leduckhai/VietMed")הרישיון
המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש חופשי לחלוטין, כולל שימוש מסחרי, מחקר, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף מודלים שתאמנו תחת אותו רישיון, ומבחינה משפטית מותר לשלב את התוצרים במוצרים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש