earnings22
קוד פתוחdistil-whisperרישיון לא דווח2023-10-13
שיחות ועידה כספיות באנגלית מגוונת לבדיקת מודלי תמלול. המאגר מציע הקלטות אמיתיות עם שלל מבטאים זרים כדי למדוד עמידות של מודלים מחוץ לתנאי מעבדה.
- 1,977הורדות בחודש
- 19לייקים
מה זה
המאגר מכיל 125 קבצי אודיו באנגלית באורך כולל של כ־119 שעות, שנלקחו משיחות דיווח כספי של חברות מ־27 מדינות שונות. הנתונים נאספו משיחות אמיתיות בעולם העסקי וכוללים את האודיו המלא, תמלול מדויק ומטא-דטה מפורט על סימול המניה, מדינת המטה, משפחת השפה ואזור המבטא.
המבנה מגיע בשתי תצורות לבחירה. תצורת full כוללת את ההקלטות המלאות שאורכן נע בין מספר דקות לעשרות דקות ומיועדת לבחינת תמלול של אודיו ארוך. תצורת chunked חותכת את השיחות למקטעים קצרים של עד 20 שניות לפי סימני פיסוק, באמצעות מודל Wav2Vec2, כדי לבדוק מודלים על מקטעים קצרים. המאגר מכיל חלוקה אחת בלבד של בדיקה, ללא חלקי אימון.
מתאים ל
- הערכת מודלי תמלול
מדידת מדד שגיאות מילים במודלי זיהוי דיבור על גבי אודיו עסקי אמיתי ומורכב.
- בדיקת עמידות למבטאים
בחינת יכולת המודל להתמודד עם שבע משפחות שפה ומבטאים זרים שונים באנגלית.
- מבחן תמלול ארוך
הרצת שיחות בנות עשרות דקות ברצף לבדיקת יציבות מודלים על הקלטות ממושכות.
איפה זה נופל
זהו מאגר לבדיקה בלבד, כך שאין כאן נתוני אימון. האודיו כולו באנגלית בלבד, ואין פה עברית או שפות מקומיות אחרות, למרות שהדוברים מגיעים מרקעים מגוונים. ההקלטות מוגבלות לז'רגון תאגידי ופיננסי עם איכות שיחת ועידה, כך שהן לא משקפות דיבור יומיומי, שיחות רחוב או סביבות רועשות במיוחד. החלוקה למקטעים קצרים נעשתה אוטומטית לפי מודל ולא ידנית, מה שעלול לייצר חיתוכים פחות מדויקים בקצוות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הכרטיס במאגר לא מציין רישיון שימוש. במצב כזה אין אישור מפורש להשתמש בנתונים למטרות מסחריות, ויש לפנות ליוצרי המאגר המקורי ב־Rev כדי לברר את תנאי ההפצה.
האם יש במאגר שיחות בעברית?
לא, כל ההקלטות הן באנגלית בלבד. המגוון נובע מכך שהדוברים מגיעים מ־27 מדינות שונות ודוברים אנגלית במבטאים שונים, אך השפה עצמה אינה עברית.
האם המאגר מתאים לאימון מודל חדש?
הוא לא מיועד לאימון אלא להערכה בלבד, ומכיל חלוקת בדיקה בלבד של כ־119 שעות. אפשר טכנית לאמן עליו, אבל המטרה המקורית שלו היא השוואת ביצועים ומדידת שגיאות מילים.
איך נאספו התמלולים והאודיו?
האודיו נאסף מתוך 125 שיחות דיווח כספי של חברות ציבוריות ברחבי העולם. התמלולים הוצמדו להקלטות המקוריות יחד עם מידע על החברה, אזור השפה וסוג המבטא.
איך טוענים
טוענים את המאגר דרך ספריית datasets באמצעות בחירת התצורה הרצויה, full או chunked, כשהקבצים יושבים בפורמט Parquet. אין צורך באישור גישה מיוחד והנתונים פתוחים להורדה. עמודת האודיו כוללת מערך דקוד ותדר דגימה של 16 קילו-הרץ, ולצידה שדות כמו transcription, file_id ומטא-דטה גאוגרפי. בגלל פענוח האודיו הכבד, חובה לגשת קודם לאינדקס הרשומה ורק אז לעמודת האודיו כדי למנוע קריסה של הזיכרון.
from datasets import load_dataset
ds = load_dataset("distil-whisper/earnings22")הרישיון
בעמוד המאגר לא דווח רישיון כלל. המשמעות היא שאין הרשאה משפטית ברורה לשימוש מסחרי, להפצה מחדש או לאימון מודלים סגורים, והסיכון נופל כולו עליכם. אם אתם מתכננים להכניס את המודל למוצר מסחרי, מומלץ לבדוק את המאגר המקורי של Rev או לפנות ליוצרים שפרסמו את המאמר.