Hive
קוד פתוחAlayaLabapache-2.02026-01-30
המאגר כולל מטא-דטא של כמעט עשרים מיליון תערובות שמע נקיות להפרדת קולות לפי שאילתה. הוא חוסך אימון על מיליוני שעות באמצעות סינתזה מדויקת ועקבית סמנטית.
- 234הורדות בחודש
- 51לייקים
מה זה
הנתונים מורכבים מכ־19.6 מיליון רשומות המייצגות תערובות שמע סינתטיות, מתוכן 17.5 מיליון לאימון, 1.75 מיליון לוולידציה ו־350 אלף למבחן. כל רשומה כוללת מזהה, קצב דגימה של 44.1 קילוהרץ, אורך יעד של 4 שניות באימון או 10 שניות במבחן, ומספר מקורות שנע בין 2 ל־5. בנוסף מפורטים פרמטרים מדויקים לערבוב: נתיבי קבצים יחסיים, תגיות מתוך האונטולוגיה של AudioSet, זמני חיתוך מדויקים, מקדמי נירמול אנרגיה, יחסי אות לרעש, ומשקלים סופיים למניעת עיוותים.
הבסיס לחיתוכים נלקח מ־12 מאגרי אודיו מוכרים, ביניהם BBC Sound Effects, AudioSet, VGGSound, FreeSound ו־ClothoV2, בהיקף של כ־2,442 שעות גלם לאימון ו־292 שעות לבדיקה. במקום לערבב צלילים באופן אקראי, תהליך הסינון איתר קטעים נקיים עם אירוע קול בודד מתוך 283 קטגוריות. החיבור ביניהם נבנה לפי מטריצת הופעה משותפת מבוססת הגיון, שמונעת שילובים מופרכים ומייצרת סצנות אקוסטיות אמינות.
מתאים ל
- אימון מודלים להפרדת קולות
סינתזה מהירה של מיליוני תערובות מבוקרות היטב לצורך אימון מערכות Universal Sound Separation.
- הערכת ביצועי מודלי שמע
מבחן ביצועים אחיד ומדויק על 350 אלף תערובות באורך עשר שניות להערכת יכולת איתור מקור ספציפי.
- מחקר על יעילות נתונים
בדיקת אלגוריתמים עם נתונים נקיים ועקביים בהיקף 2,400 שעות מול אימון על מיליוני שעות רעשות.
איפה זה נופל
החיסרון המרכזי והקריטי הוא שמדובר בקובצי הגדרות בלבד ולא בקובצי שמע מוכנים. כדי להתחיל לעבוד נדרשת עבודת תשתית כבדה של איסוף והורדה של 12 מאגרי נתונים שונים ממקורות חיצוניים, משימה שגוזלת נפח אחסון עצום וזמן עיבוד ממושך. בנוסף, כל המטא-דטא והתיוגים מנוהלים באנגלית בלבד לפי AudioSet, ללא תמיכה בשפות אחרות או הקשר מקומי.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפיתוח מוצר מסחרי?
המטא-דטא עצמו משוחרר ברישיון Apache 2.0 שמתיר שימוש מסחרי. הבעיה היא שגלי השמע שאתם חייבים להוריד כדי לאמן כוללים מאגרים עם רישיונות לא מסחריים כמו ClothoV2, ESC50 ו־AVE, או מגבלות של ה־BBC. למוצר מסחרי תצטרכו לסנן החוצה את כל הרשומות שמפנות לאותם מאגרים מוגבלים.
כמה שוקל הדאטהסט והאם הוא כולל את קובצי הקול?
המאגר בהאגינג פייס מכיל רק שלושה קובצי Parquet של מטא-דטא, כך שההורדה שלו קלה ומהירה. הוא אינו מכיל את האודיו עצמו. כדי להשתמש בו צריך להוריד עצמאית כ־2,700 שעות של קובצי שמע מ־12 מקורות נפרדים ברשת, תהליך שדורש מאות ג'יגה-בייט של מקום פנוי בדיסק.
האם יש בדאטהסט הזה תוכן או תיוג בעברית?
לא. כל 283 התגיות והמזהים מבוססים על האונטולוגיה של AudioSet באנגלית. חלקי הדיבור שנכללים במאגר המקורי מגיעים בעיקר מאוספים בינלאומיים דוברי אנגלית כמו Voicebank-DEMAND.
מה היתרון שלו על פני אימון ישיר על AudioSet או הורדת מיליוני שעות מיוטיוב?
היוצרים מנקים מראש את רעשי הרקע ומבודדים אירועי קול בודדים, במקום להסתמך על תיוג חלש של קטעים רועשים. בנוסף, חוקי הערבוב שלהם מונעים שילובים לא הגיוניים של צלילים, מה שמאפשר להגיע לביצועים תחרותיים עם 2,400 שעות גלם בלבד במקום אימון ממושך על מיליון שעות.
איך טוענים
טוענים את המטא-דטא דרך ספריית datasets באמצעות הפקודה load_dataset על השם ShandaAI/Hive, ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט Parquet בחלוקה לתיקיות train, validation ו־test. כדאי לדעת שהמאגר בהאגינג פייס לא מכיל גלי קול בפועל. כדי לייצר את האודיו, חייבים להוריד עצמאית את 12 מאגרי המקור למחשב, להגדיר קובץ נתיבים, ולהריץ את סקריפט הערבוב ממאגר הגיטהאב של הפרויקט עם מספר תהליכים במקביל.
from datasets import load_dataset
ds = load_dataset("AlayaLab/Hive")הרישיון
קובצי המטא-דטא מפורסמים תחת רישיון Apache 2.0 שמתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת הרישיון וציון המקור. העניין מסתבך בקובצי האודיו עצמם. הם שייכים ל־12 מאגרים שונים עם רישיונות מגוונים, חלקם תחת תנאי שימוש אקדמיים, לשימוש לא מסחרי בלבד כמו בדאטהסטים AVE, ClothoV2 או ESC50, או תנאי יוטיוב ורישיון רמיקס של ה־BBC. מודל שיאומן על השמע יוגבל ישירות על ידי התנאים המחמירים של אותם מקורות ולא על ידי ה־Apache של המטא-דטא.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים