LongAudio
קוד פתוחnvidiaother2025-07-10
nvidia עומדים גם מאחורי NVIDIA AI, ויש עליו סקירה כאן.
מעל מיליון זוגות שאלות ותשובות לקטעי אודיו ארוכים, שמיועדים לאימון מודלי שפה על דיבור וסאונד מורכב. הוא רלוונטי למי שרוצה ללמד מודל להבין הקשרים לאורך זמן ולא רק לתמלל מילים בודדות.
- 497הורדות בחודש
- 25לייקים
מה זה
המאגר כולל כ־1.25 מיליון רשומות שמחברות בין קטעי שמע של חצי דקה עד עשר דקות לבין שאלות ותשובות טקסטואליות. המידע מחולק לעשרים קובצי JSON שונים לפי מקור השמע המקורי. תמצאו כאן פיצול לקורפוסים מוכרים כמו LibriSpeech, Europarl, Switchboard, לצד סטים עדכניים יותר כמו MiraData או סרטונים מיוטיוב. חלק מהקבצים מתמקדים בדיבור רציף, ואחרים עוסקים בצלילי סביבה ובמוזיקה.
הטקסטים נוצרו בשיטה משולבת. החוקרים אספו תמלולים ותיאורים מהמאגרים המקוריים, הריצו עליהם מודלי שפה גדולים עם הנחיות ייעודיות לחילוץ היגיון, ושילבו התערבות אנושית לכוונון ההנחיות ובקרת איכות על התוצרים. השאלות מכסות יכולות כמו זיהוי סרקזם, הבנת רצף זמנים, איתור פרטים נקודתיים בתוך הקלטה ארוכה והסבר על שינויי רגש לאורך שיחה.
מתאים ל
- אימון הבנת זמנים בשמע
לימוד מודלים לזהות מתי אירוע התרחש בתוך הקלטה של עשר דקות ולהבין את סדר הפעולות.
- חילוץ מידע משיחות ארוכות
אימון על משימות איתור פרט בודד מתוך שיחה שלמה, כמו תשובה לשאלה עובדתית ספציפית.
- זיהוי רגשות וסרקזם בקול
בניית יכולת לעקוב אחרי שינויים במצב הרוח של הדובר ולהבין נימות דיבור שאינן מילוליות.
איפה זה נופל
ההגבלה הבולטת ביותר היא השפה, הנתונים מתמקדים באנגלית ואין כאן ייצוג לעברית. מעבר לכך, כל התשובות והשאלות נוצרו באופן סינתטי באמצעות מודלים, כך שהן עלולות להכיל הזיות או ניסוחים מלאכותיים שלא משקפים שיח טבעי. המאגר גם סובל מתלות קשה בצד שלישי, שכן חלק מקובצי האודיו דורשים פנייה אישית לחוקרים, גישה למאגרים בתשלום כמו LDC, או הורדה של סרטונים שעלולים להימחק מיוטיוב בכל רגע.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון של אנבידיה מגדיר את השימוש למחקר בלבד ואוסר פעילות מסחרית. בנוסף, הנתונים הסינתטיים כפופים למגבלות השימוש של OpenAI. אם אתם בונים מודל למוצר עסקי, תצטרכו לחפש מקור אחר.
האם המאגר כולל עברית?
המאגר מוגדר לשפה האנגלית בלבד, וכל השאלות והתמלולים כתובים באנגלית. אין בו הקלטות או תכנים בעברית. כדי לעבוד על קול בעברית תצטרכו לאסוף ולסמן נתונים באופן עצמאי.
למה אי אפשר להתחיל לאמן מיד אחרי ההורדה מהמאגר?
אנבידיה לא שומרת את קובצי הקול בתוך המאגר בגלל זכויות יוצרים, אלא רק את קובצי ה־JSON עם השאלות. תצטרכו להוריד את קובצי הקול ממקורות חיצוניים כמו יוטיוב וספריות מחקר, ולחתוך או לאחד אותם לפי ההנחיות. מדובר בעבודת הכנה טכנית משמעותית לפני שבכלל נוגעים במודל.
איך הדאטהסט שונה ממאגרי תמלול קלאסיים כמו LibriSpeech?
במקום לתת רק התאמה של טקסט מדויק לקטע דיבור, המאגר הזה מתמקד בשאלות והבנה ברמת תוכן ורצף זמנים. הוא בוחן שאלות עלילה, ניתוח רגשות והסקת מסקנות מתוך הקלטות באורך של עד עשר דקות. המטרה כאן היא אימון מודלי שיחה ומולטימודל ולא רק מערכות תמלול פשוטות.
איך טוענים
טעינת הנתונים עצמם מהירה כי המאגר כולל 25 קבצים בלבד ורובם קובצי JSON, אבל הוא לא מגיע מוכן לשימוש ישיר. כל רשומה כוללת מזהה, שם קובץ שמע, משך זמן ומערך שיחה של שאלות ותשובות. המלכוד הוא שקבצי הקול לא נמצאים כאן. תצטרכו להוריד את קובצי האודיו בעצמכם מעשרות מקורות חיצוניים, לחתוך אותם לפי חותמות זמן או לשרשר קטעים יחד לפי ההוראות הפרטניות של כל קובץ.
from datasets import load_dataset
ds = load_dataset("nvidia/LongAudio")הרישיון
הטקסטים מופצים תחת רישיון לא-מסחרי של אנבידיה. הרישיון אוסר על שימוש מסחרי ומיועד לצורכי מחקר בלבד. מאחר שהשאלות נוצרו בעזרת מודלים של OpenAI, השימוש בהן כפוף גם לתנאי השירות שלהם, שאוסרים על שימוש בפלט לאימון מודלים מתחרים. בנוסף, כל קובץ שמע שתורידו כפוף לרישיון הנפרד של המקור שלו.