Auto-ACD
קוד פתוחLoieרישיון לא דווח2023-09-18
מעל 1.9 מיליון זוגות של קטעי שמע ותיאורי טקסט מפורטים. הוא מתאים למי שמאמן מודלים להבנת אודיו וצריך תיאורים עשירים שכוללים מידע על סביבת ההתרחשות של הצליל.
- 236הורדות בחודש
- 26לייקים
מה זה
המאגר כולל יותר מ־1.9 מיליון זוגות של אודיו וטקסט. המפתחים התבססו על סרטונים מתוך שני מאגרי וידאו קיימים, VGGSound ו־AudioSet, תוך ניצול ההתאמה שקיימת בהם בין התמונה לשמע.
הטקסטים בכל רשומה ארוכים יחסית, עם ממוצע של 18 מילים לתיאור, ומכסים אוצר מילים של 23 אלף מילים. התיאורים לא מסתפקים בזיהוי מקור הרעש, אלא מפרטים גם על הסביבה האקוסטית שבה הצלילים נשמעים.
הנתונים מחולקים לקובצי אימון ובדיקה. בפועל לא מקבלים קובצי קול מוכנים, אלא קובצי CSV שמכילים קישורי יוטיוב לצד הטקסט שנוצר עבור כל סרטון.
מתאים ל
- אימון מודלי תמלול שמע
חיבור בין צלילים סביבתיים לתיאורי שפה טבעית מורכבים ומפורטים.
- אחזור שמע לפי טקסט
בניית מנועי חיפוש לקטעי קול מתוך שאילתות בשפה חופשית.
- הערכת מודלים קיימים
בדיקת יכולת המודל לתאר סביבות אקוסטיות מורכבות על סט המבחן.
איפה זה נופל
הבעיה המרכזית היא תלות מלאה ביוטיוב. סרטונים נמחקים, נחסמים לפי אזור או הופכים לפרטיים, ולכן חלק מהדאטהסט המקורי כבר אבוד ולא תוכלו לשחזר אותו במלואו. בנוסף, כל התיאורים מבוססים על אנגלית בלבד, ואין מידע בכרטיס על הטיות גיאוגרפיות או דמוגרפיות שנכנסו מתהליך היצירה האוטומטי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. המאגר פורסם ללא רישיון שימוש, מה שאומר שאין לכם שום הרשאה משפטית להשתמש בו מחוץ למחקר אקדמי טהור. בנוסף, הנתונים מתבססים על סרטוני יוטיוב שלא שייכים ליוצרי המאגר.
האם קובצי השמע עצמם מגיעים בהורדה?
לא. המאגר מכיל רק קובצי CSV עם מזהי יוטיוב ותיאורי טקסט. תצטרכו לכתוב או להריץ סקריפט הורדה כדי למשוך את קובצי האודיו ישירות מיוטיוב למחשב שלכם.
האם יש במאגר תוכן בעברית?
לא, התיאורים והנתונים מבוססים על השפה האנגלית בלבד. אם המודל שלכם אמור לייצר תיאורים בעברית, תצטרכו לתרגם את הטקסטים בעצמכם או לחפש מקור אחר.
במה הוא שונה ממאגרים כמו AudioSet?
הוא מתבסס עליהם אבל מוסיף תיאורי טקסט חופשיים, ארוכים ועשירים במקום תוויות קצרות וסגורות. הדגש כאן הוא על תיאור מלא של הסביבה שבה הצליל הוקלט ולא רק סיווג פשוט של מקור הרעש.
איך טוענים
אין צורך לבקש אישור גישה כדי להוריד את המאגר. אתם מורידים קובצי CSV בשם train.csv ו־test.csv, שמכילים רק שני שדות: מזהה הסרטון ביוטיוב והטקסט שמתאר אותו. כדי לעבוד איתו צריך להריץ סקריפט שמוריד את האודיו מיוטיוב לפי המזהים, ולכן תהליך ההכנה דורש זמן, רוחב פס ונפח אחסון משמעותי.
from datasets import load_dataset
ds = load_dataset("Loie/Auto-ACD")הרישיון
היוצרים לא הגדירו רישיון בדף המאגר. בלי רישיון מפורש, מבחינה חוקית אסור להשתמש בנתונים האלה למוצר מסחרי, וכל שימוש למחקר מבוסס על שימוש הוגן בלבד. אם אתם בונים מודל שמיועד להפצה או למכירה, אי אפשר להסתמך עליו כרגע.