nonverbalspeech38k
קוד פתוחnonverbalspeechcc-by-nc-4.02025-08-06
המאגר כולל כ־131 שעות אודיו עם תיוג של עשר הבעות קוליות לא מילוליות כמו בכי, צחוק ונשימה. הוא נועד לאימון מודלים שצריכים להבין או לייצר דיבור אנושי טבעי ולא רובוטי.
- 1,612הורדות בחודש
- 38לייקים
מה זה
הנתונים נאספו מתוך אלפי שעות תוכן אותנטי הכולל תסכיתי רדיו, מערכונים, סרטים מצוירים, הצגות, ספרי שמע, סרטים ותוכניות בידור. מתוך מאגר גולמי עצום של מעל שלושים ושלוש אלף שעות, היוצרים סיננו וחילצו 38,718 קטעים ממוקדים שבהם זוהו אותות קוליים אנושיים שאינם מילים.
התוכן מחולק לעשר קטגוריות תיוג ספציפיות: נחירה, כחכוח בגרון, בכי, נשימה, הסנפה, צחוק, שיעול, התנשפות, פיהוק ואנחה. בנוסף קיימים תיוגים ייעודיים לסימון חפיפה בין ההבעות הקוליות הללו לבין מילים שנאמרות ברקע, מה שמאפשר מעקב מדויק אחר נקודות השילוב בדיבור. הדאטהסט כולל שתי גרסאות של תמלולים, כאשר הגרסה העדכנית יותר מנסה לפתור פערי סנכרון בין הזיהוי הקולי לטקסט.
מתאים ל
- זיהוי רגש והבעות בדיבור
אימון מערכות הבנת דיבור לזהות צחוק, בכי או אנחות כחלק מהבנת ההקשר של הדובר.
- סינתזת דיבור טבעי
שילוב נשימות והפוגות קוליות במודלי טקסט לדיבור כדי לייצר פלט אנושי ואמין יותר.
- מחקר סנכרון קול ומלל
בדיקת אלגוריתמים לזיהוי חפיפות זמנים בין רעשי רקע קוליים למילים מדוברות.
איפה זה נופל
הנתונים מוגבלים לשפות אנגלית וסינית בלבד, כך שאין כאן שום ייצוג לשפה העברית או למבטאים מקומיים. מעבר לכך, היוצרים מודים שהיו בעיות סנכרון בין חותמות הזמן של המלל לבין האודיו בגלל מגבלות של כלי תמלול אוטומטיים. החומרים מגיעים ברובם מתוכן מבוים כמו דרמות ומערכונים ולא משיחות יומיומיות אמיתיות, ולכן האינטונציות עשויות להיות מוגזמות או דרמטיות מדי עבור מודלים שנועדו לשימוש כללי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. המאגר מופץ תחת רישיון CC BY-NC 4.0 המיועד למחקר בלבד. מעבר לרישיון הדאטהסט עצמו, זכויות היוצרים של האודיו שייכות ליוצרי התוכן המקוריים כמו אולפני סרטים ותוכניות רדיו.
האם יש בדאטהסט הקלטות בעברית?
לא, המאגר כולל אך ורק תכנים באנגלית ובסינית. אי אפשר להשתמש בו ישירות למשימות בעברית, אלא אם כן בוחנים התנהגות אקוסטית של הבעות קוליות שאינן תלויות בשפה.
מאיפה הגיעו קובצי האודיו?
הקבצים נאספו מתוכן קיים ברשת, כולל תסכיתי רדיו, מערכונים, סרטים מצוירים, הצגות קצרות וספרי שמע. מתוך אלפי שעות גולמיות נחתכו הקטעים הרלוונטיים שבהם נשמעות עשר הבעות הקול שנבחרו.
באילו עמודות תמלול צריך להשתמש בקוד?
מומלץ להשתמש בעמודה שנקראת caption ולא בגרסה הראשונה v1_caption. בעמודה החדשה תוקנו פערי תזמון קודמים שנוצרו על ידי מנוע הזיהוי הקולי.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה בפייתון בעזרת הפקודה load_dataset עם מזהה המאגר nonverbalspeech/nonverbalspeech38k. אין צורך לבקש אישור גישה מוקדם או להמתין למפתח מיוחד, המאגר פתוח להורדה ישירה.
הקבצים שמורים בפורמט parquet ומחולקים ל־47 חלקים של נתוני אימון מתוך 48 קבצים במאגר הכולל. שימו לב לעבוד עם עמודת caption המעודכנת שמכילה את התמלול עם התיקונים, ולא עם עמודת v1_caption הישנה שסבלה מבעיות סנכרון זמנים מול האודיו המקורי.
from datasets import load_dataset
ds = load_dataset("nonverbalspeech/nonverbalspeech38k")הרישיון
הרישיון הוא CC BY-NC 4.0 שמתיר שימוש למטרות מחקר בלבד ואוסר כל פעילות מסחרית. היוצרים מדגישים שזכויות היוצרים על קובצי האודיו שייכות למקורות שמתוכם הם נאספו ולא להם. אי אפשר לשלב את המאגר הזה במוצר מסחרי, ומודל שאומן עליו מוגבל גם הוא למחקר לא מסחרי.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא