BirdSet
קוד פתוחDBD-research-groupcc-by-nc-4.02024-02-01
מאגר ענק לסיווג קולות ציפורים עם מעל 6,800 שעות הקלטה וכמעט 10,000 מחלקות. פתרון מקיף למי שרוצה לאמן מודלים על הקלטות ממוקדות ולבחון אותם מול הקלטות שטח אמיתיות.
- 1,955הורדות בחודש
- 28לייקים
מה זה
המאגר מורכב משני סוגי מידע שונים לחלוטין. נתוני האימון הם הקלטות ממוקדות של ציפורים בודדות שנלקחו מסנאפשוט של פלטפורמת Xeno-Canto מתאריך 10 במרץ 2024, בדרגות איכות A עד C וללא רישיונות האוסרים יצירות נגזרות. כל קובץ מקושר למזהה המין לפי תקן eBird וכולל זיהוי אירועים וחלוקה לקלאסטרים של קולות.
נתוני המבחן מגיעים מהקלטות סביבתיות רציפות שנאספו משמונה מאגרי שטח שונים דרך Zenodo, ביניהם אגן האמזונס, קולומביה, הוואי ורכס סיירה נבאדה. הם מחולקים לשני פורמטים: קבצי שטח מלאים עם תיוג חזק ותיבות תוחמות לפי זמנים ותדרים, ומקטעים חתוכים של חמש שניות שמתאימים למשימות סיווג מרובה תוויות, כולל מקטעים שקטים ללא קריאות ציפורים שמתויגים באפס.
מתאים ל
- סיווג מרובה תוויות באודיו
אימון ושיערוך על מקטעי 5 שניות בסביבות אקוסטיות מרובות מינים במקביל.
- הערכת עמידות לרעשי רקע
בדיקת ביצועי מודל שאומן על הקלטות איכותיות מול הקלטות שטח פתוחות.
- למידה ללא פיקוח בביואקוסטיקה
אימון מקדים על מאגר XCL שמכיל מעל 528,000 קטעי קול ו־9,735 מחלקות.
איפה זה נופל
הפער המשמעותי ביותר הוא Covariate Shift בין האימון למבחן. האימון נשען על הקלטות נקיות וממוקדות של ציפורים בודדות, בעוד המבחן מורכב מהקלטות סביבתיות מורכבות ורועשות. בנוסף, חלוקת המינים הגיאוגרפית מוטה מאוד לאזורי המבחן הספציפיים שנבחרו, ואינה מכסה את המזרח התיכון או מינים ישראליים מקומיים אלא אם משתמשים בכל המאגר הכללי XCL.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המרכזי הוא cc-by-nc-4.0 וכל הקלטות האימון מוגדרות לשימוש לא מסחרי בלבד. מודל שתאמנו על הנתונים הללו לא יוכל לשמש יישום מסחרי.
כמה שטח אחסון נדרש כדי להוריד את הנתונים?
זה תלוי בתת-המאגר שתבחרו. תת-מאגרים קטנים כמו UHH או HSN דורשים כ־5 עד 6 גיגה-בייט, בעוד שהמאגר המלא XCL מגיע ל־484 גיגה-בייט. תהליך החילוץ מוחק ארכיונים זמניים כדי לא להכפיל את המקום.
האם יש בדאטהסט מידע שרלוונטי לישראל?
אין תת-מאגר מבחן ייעודי לישראל, והתיוגים מתמקדים בבתי גידול ביבשת אמריקה ובהוואי. עם זאת, המאגר הגדול XCL כולל כמעט 10,000 מינים מ־Xeno-Canto, שחלקם מצויים גם בארץ.
איך נתוני הבדיקה נבדלים מנתוני האימון?
האימון מבוסס על הקלטות ממוקדות באיכות טובה שבודדו למין בודד. נתוני הבדיקה הם הקלטות סביבתיות רצופות הכוללות רעשי רקע, חפיפה בין ציפורים שונות, ומקטעים ריקים לחלוטין ללא קולות.
איך טוענים
טוענים תתי-מאגרים ספציפיים בעזרת הספרייה datasets של Hugging Face, תוך הגדרת trust_remote_code=True בגלל סקריפטי הטעינה BirdSet.py ו־classes.py. המאגר נתמך בגרסאות של עד datasets 3.6.0 ו־datasets מתחת ל־4.0.0. האודיו כולו שמור בפורמט ogg בקצב דגימה של 32 קילוהרץ במונו.
הגודל תלוי בתת-המאגר: הוא נע בין כ־5 גיגה-בייט עבור UHH ועד 484 גיגה-בייט למאגר השלם XCL שכולל מעל 528 אלף הקלטות אימון. אין צורך בבקשת גישה מיוחדת, והשדות העיקריים לעבודה הם audio, וקטור התיוג ebird_code_multilabel, וגבולות הזמן והתדר במבחן.
from datasets import load_dataset
ds = load_dataset("DBD-research-group/BirdSet")הרישיון
המאגר מוגדר תחת רישיון cc-by-nc-4.0 שמיועד למחקר ולמטרות חינוכיות בלבד. שימוש מסחרי אסור באופן גורף. אימון מודל על הנתונים האלה מחייב עמידה במגבלת ה־NC של כלל הקלטות האימון, ולכן לא תוכלו להטמיע את המשקלים במוצר מסחרי. חלק מנתוני המבחן שמקורם ב־Zenodo זמינים תחת CC BY 4.0 או CC0, אך נתוני האימון מ־Xeno-Canto מגבילים את השימוש למחקר לא מסחרי עם מתן קרדיט למקליטים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא