AudioSetCaps
קוד פתוחbaijscc-by-4.02024-10-21
המאגר מרחיב קטעי קול קיימים עם מיליוני תיאורי טקסט ושאלות ותשובות שנוצרו על ידי מודלים. הוא מיועד למי שמאמן מודלים רב-מודאליים שמחברים בין שמע לטקסט וצריך היקף נתונים עצום.
- 212הורדות בחודש
- 27לייקים
מה זה
המאגר כולל תיאורים עבור 6,117,099 קטעי שמע באורך עשר שניות שמקורם ב־AudioSet, ב־YouTube-8M וב־VGGSound. לצד התיאור הסופי של כל קטע, המפתחים צירפו גם שלוש שאלות ותשובות ששימשו ליצירת התיאור, בסך הכל 18,414,789 זוגות של שאלות ותשובות שנוצרו באמצעות Qwen-Audio.
החלוקה הפנימית מורכבת משלושה מקורות מידע עיקריים. החלק של YouTube-8M הוא הגדול ביותר עם מעל ארבעה מיליון תיאורים, אחריו AudioSet עם כמעט שני מיליון, ו־VGGSound עם כ־182 אלף תיאורים. כל המידע הטקסטואלי מחולק לקובצי CSV ייעודיים לפי מקור ולפי סוג התוכן, בין אם מדובר בתיאור הסופי או בשלבי הביניים של השאלות והתשובות.
מתאים ל
- אימון מודלי תיאור שמע
חיבור קטעי קול לתיאורי טקסט מפורטים באנגלית בהיקף רחב.
- אימון שאילתות על שמע
שימוש במיליוני זוגות השאלות והתשובות ללימוד מענה על תוכן קולי.
- סיווג כלי נגינה ודיבור
חילוץ מאפייני מגדר, רגש וכלי נגינה מתוך התשובות הייעודיות.
איפה זה נופל
הבעיה המרכזית כאן היא זליגת נתונים חמורה. המפתחים עצמם מזהירים שסט הבדיקה וההערכה של AudioCaps ושל VGGSound נכללים בתוך המטא-דאטה, ולכן חייבים לסנן אותם ידנית לפני האימון כדי לא לזהם את המבחנים. בנוסף, כל התיאורים נוצרו באופן אוטומטי על ידי מודל שפה ושמע, כך שטעויות זיהוי והזיות של המודל נכנסו ישירות לתוך קובצי האימון באנגלית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. למרות הסימון של cc-by-4.0 בהגדרות המאגר, החוקרים ציינו במפורש בטקסט שההורדה מהווה הסכמה לשימוש למטרות מחקר בלבד.
האם קובצי השמע עצמם נמצאים להורדה במאגר?
לא. המאגר מכיל רק קובצי CSV עם תיאורים, שאלות ותשובות, ומספר דוגמאות בודדות של שמע. כדי לאמן מודל, תצטרכו להוריד את קובצי הקול ישירות מ־AudioSet, מ־YouTube-8M ומ־VGGSound לפי המזהים.
האם יש במאגר נתונים בעברית?
הטקסטים נוצרו באנגלית בלבד. אם יש קטעי דיבור בעברית בסרטוני המקור, המודל שניתח אותם התייחס אליהם ותיאר אותם באנגלית.
מה צריך לעשות לפני שמתחילים לאמן מודל על הנתונים?
חובה לבצע סינון מקדים של הנתונים כדי להסיר את קטעי ההערכה של AudioCaps ושל VGGSound. אם לא תסננו אותם, מודל המבחן שלכם ייחשף לדוגמאות כבר בשלב האימון והתוצאות לא יהיו אמינות.
איך טוענים
הנתונים יושבים בתיקיית Dataset בקובצי CSV פתוחים להורדה ישירה ללא צורך באישור גישה. חשוב להבין שהמאגר מכיל בעיקר את המטא-דאטה והטקסטים, כולל מזהי הקטעים, התיאורים והתשובות שחולצו על הדיבור והמוזיקה, בעוד שרק דוגמאות בודדות של קובצי שמע mp3 מאוחסנות בפועל במאגר עצמו. את קובצי האודיו המלאים תצטרכו להביא מהמקורות המקוריים לפי המזהים.
from datasets import load_dataset
ds = load_dataset("baijs/AudioSetCaps")הרישיון
המטא-דאטה מסומן כ־cc-by-4.0, אך הטקסט של החוקרים קובע במפורש שהשימוש מותר למטרות אקדמיות ומחקר בלבד. הסתירה הזו מחייבת זהירות, ובפועל אסור להשתמש בנתונים האלה למוצר מסחרי או לאמן עליהם מודל שמיועד להפצה מסחרית.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס