MeetingBank_Audio
קוד פתוחhuuuyeahcc-by-nc-sa-4.02023-07-09
המאגר כולל אלפי שעות שמע מוקלטות מישיבות מועצה בארצות הברית יחד עם תמלולים. הוא נבנה במיוחד כדי לבחון ולפתח מודלים של סיכום פגישות ארוכות ומורכבות.
- 2,325הורדות בחודש
- 22לייקים
מה זה
הנתונים מבוססים על ישיבות מועצת עיר משש ערים מרכזיות בארצות הברית. בסך הכל המאגר מקיף 1,366 פגישות שמצטברות ליותר מ־3,579 שעות וידאו ושמע, לצד תמלולים מלאים, מסמכי PDF של פרוטוקולים, סדרי יום ומטא-דאטה נוסף. בממוצע, כל ישיבה נמשכת 2.6 שעות ומכילה מעל 28 אלף טוקנים בתמלול.
החומר חולק גם ל־6,892 מקטעי סיכום מוגדרים שנועדו לאימון ולהערכת ביצועים. בעוד שקבצי השמע בפורמט mp3 מחולקים לארכיוני zip בתוך תיקיות לפי ערים כמו Alameda בהאגינג פייס, הסיכומים עצמם, הסימונים האנושיים והמטא-דאטה המרכזי מנוהלים ומאוחסנים בנפרד בפלטפורמת Zenodo.
מתאים ל
- אימון מסכמי שיחות ארוכות
פיתוח מודלים שמסוגלים לקרוא עשרות אלפי טוקנים של דיון ולהפיק תקציר ענייני.
- הערכת תמלול שמע מרובה דוברים
בדיקת ביצועי מודלי זיהוי דיבור על הקלטות אמיתיות באורך שעות עם רעשי רקע.
- חילוץ מבנה מפגישות
זיהוי אוטומטי של סעיפי סדר יום ומעברי נושאים בתוך הקלטות וידאו ושמע ארוכות.
איפה זה נופל
כל ההקלטות מגיעות מישיבות עירוניות בארצות הברית, ולכן השפה מוגבלת לאנגלית בלבד עם סגנון דיבור פורמלי, בירוקרטי ואמריקאי מובהק. אין כאן מגוון של שפות אחרות, אין עברית, והתוכן לא מייצג שיחות יומיומיות, שיחות צוות קצרות או פגישות עסקיות טיפוסיות. בנוסף, הפיצול של קובצי האודיו מהסיכומים והתמלולים דורש עבודת הכנה וחיבור נתונים לא מבוטלת לפני שאפשר להתחיל לאמן או לבדוק מודל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון של המאגר הוא cc-by-nc-sa-4.0, שכולל הגבלה מפורשת נגד שימוש מסחרי. מותר להשתמש בו למטרות מחקר, לימוד ובדיקות פנימיות בלבד.
האם יש במאגר נתונים בעברית?
לא, אין עברית כלל. כל הנתונים מבוססים על ישיבות מועצה מקומיות בשש ערים שונות בארצות הברית, כך שהשמע והתמלולים הם באנגלית בלבד.
איפה נמצאים התמלולים והסיכומים של הפגישות?
קבצי השמע שמורים כארכיונים במאגר הזה, אך קובץ הנתונים הראשי שכולל את התמלולים, הסיכומים מכמה מערכות והערכות האנושיות מתארח בנפרד באתר Zenodo. יוצרי המאגר מספקים סקריפטים ב־GitHub לחיבור בין המקורות.
איך טוענים
המאגר פתוח להורדה ישירה ולא דורש אישור גישה מוקדם, אך הוא אינו מסודר כקובץ חיצים סטנדרטי של ספריית datasets אלא כ־85 קבצים, רובם קבצי zip כבדים המכילים קטעי שמע בפורמט mp3 ורשימות וידאו. כדי לעבוד איתו צריך להוריד את הארכיונים ידנית או באמצעות סקריפטים, לחלץ את האודיו, ולחבר אותו עם קובצי התמלולים והסיכומים שנמצאים ב־Zenodo ובמאגר הכלים הייעודי של הפרויקט ב־GitHub.
from datasets import load_dataset
ds = load_dataset("huuuyeah/MeetingBank_Audio")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות ברורה וחדה, אסור לעשות בו שום שימוש מסחרי. מותר להשתמש בנתונים למחקר או לצרכים פנימיים לא מסחריים בלבד, חובה לתת קרדיט ליוצרים, וכל נגזרת או שיתוף של הנתונים חייבים להתפרסם תחת אותו הרישיון בדיוק. אם תאמנו עליו מודל, השימוש המסחרי בתוצרים יהיה מוגבל ביותר עקב תנאי הרישיון.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא