AudioCaps
קוד פתוחOpenSoundcc-by-nc-4.02024-12-15
קטעי אודיו מיוטיוב עם תיאורים טקסטואליים באנגלית עבור אימון מודלים של אודיו לטקסט. המאגר כולל את קובצי השמע עצמם לצד המלל, מוכנים לעבודה ישירה.
- 3,594הורדות בחודש
- 26לייקים
מה זה
המאגר מכיל קטעי שמע שמקורם בסרטוני יוטיוב, כשלכל קטע מוצמד תיאור טקסטואלי באנגלית. הרשומות כוללות את מזהה הסרטון, נקודת ההתחלה של המקטע בשניות, אורך הקטע, שדה הטקסט של התיאור, ומערך השמע עצמו שמוטמע ישירות בתוך הדאטהסט. המבנה הזה חוסך את הצורך לגשת לסרטונים המקוריים או להוריד אותם בעצמכם.
הנתונים מחולקים לשלושה חלקים מוכנים. חלק האימון כולל 45,178 דוגמאות בנפח של כ־41 גיגה בייט. חלק הוולידציה מכיל 2,223 דוגמאות, וחלק הבחינה כולל 4,411 דוגמאות נוספות. סך הכל יש כאן 51,812 רשומות שמיועדות לבנייה ובדיקה של מודלים שממירים צלילים סביבתיים למילים.
מתאים ל
- אימון כתוביות לשמע
פיתוח מודלים שמקבלים רצועת קול ומייצרים תיאור מילולי מדויק של מה שקורה בה.
- אחזור אודיו לפי טקסט
בניית מנועי חיפוש שמוצאים קטעי קול מתאימים לפי שאילתות טקסטואליות חופשיות.
- הערכת ביצועי מודלים
בדיקת איכות של ארכיטקטורות קיימות על סט המבחן שמכיל אלפי דוגמאות מוגדרות מראש.
איפה זה נופל
המקור של כלל הקטעים הוא יוטיוב, מה שמביא איתו איכות שמע משתנה, רעשי רקע לא מבוקרים ודחיסות שונות. התיאורים כתובים באנגלית בלבד, כך שאין כאן שום מידע בעברית או תמיכה בצלילים בהקשרים מקומיים. כרטיס הדאטהסט לא מפרט כיצד נכתבו התיאורים או אם נעשה סינון ידני כלשהו, ולכן צריך לבדוק מדגמית את טיב ההתאמה בין השמע לטקסט לפני שרצים לאמן עליו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-4.0, שמגביל את השימוש למטרות לא מסחריות בלבד. כל שימוש בתוך מוצר מניב רווח או מודל מסחרי אסור לפי תנאי הרישיון.
כמה מקום צריך לפנות בדיסק בשביל להוריד אותו?
ההורדה עצמה דורשת קרוב ל־44 גיגה בייט של תעבורה. לאחר הטעינה והחילוץ, המאגר תופס קצת מעל 47 גיגה בייט במחשב.
האם יש במאגר תיאורים או תכנים בעברית?
לא, התיאורים מופיעים באנגלית בלבד. אם אתם צריכים אימון או תיוג של צלילים בעברית, תצטרכו לתרגם את הנתונים בעצמכם או לחפש מקור אחר.
האם צריך להוריד את קובצי האודיו מיוטיוב בנפרד?
לא, אין צורך להשתמש בסקריפטים חיצוניים או להוריד מיוטיוב. קובצי השמע כבר חתוכים ומוטמעים ישירות כחלק מהרשומות בקובצי ה־parquet.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בלי צורך באישור גישה מוקדם או מפתח. כל המידע מגיע בקובצי parquet שמכילים את עמודת השמע המובנית, יחד עם עמודת הטקסט caption ונקודת הזמן ביוטיוב. משקל ההורדה הכולל עומד על כמעט 44 גיגה בייט, ובפריסה מלאה על הדיסק המאגר תופס מעל 47 גיגה בייט, אז כדאי לוודא שיש לכם מספיק נפח אחסון מקומי וחיבור יציב לפני שמתחילים.
from datasets import load_dataset
ds = load_dataset("OpenSound/AudioCaps")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות פשוטה, מותר להשתמש במידע למטרות מחקר, למידה ובדיקות פנימיות, אך חל איסור מוחלט על שימוש מסחרי. בנוסף, חובה לתת קרדיט ליוצרים. אם המטרה היא להוציא מוצר לשוק או לאמן מודל שיניב הכנסות, הדאטהסט הזה לא מתאים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא