CTIS
קוד פתוחccmusic-databasecc-by-nc-nd-4.02023-10-12
אפשר גם להריץ אותו בדפדפן בלי להתקין דבר.
הקלטות אודיו ממוקדות של כלי נגינה סיניים מסורתיים לטובת משימות סיווג קול. הוא שימושי למי שחוקר זיהוי כלי נגינה עממיים נדירים שאינם קיימים במאגרי מוזיקה סטנדרטיים.
- 673הורדות בחודש
- 29לייקים
מה זה
המאגר מכיל 4,956 הקלטות שמע באורך כולל של 32.63 שעות, עם ממוצע של 23.7 שניות לקטע. המקור מבוסס על עבודה מדעית קודמת שכללה 287 כלי נגינה מסורתיים, כלים מודרניים וכלי נגינה של מיעוטים בסין. יוצרי המאגר הנוכחי סיננו הקלטות ללא תיוג ספציפי וקטעים שאינם מוזיקה כמו ראיונות. בתהליך הניקוי ירדו 78 קטגוריות כלים שלא היו להן תוויות ברורות.
בגרסה המסוננת נותרו 209 סוגי כלים. שבעה מתוכם מחזיקים בשני תת דגמים ואחד, Yangqin, כולל ארבע גרסאות שונות. היוצרים התייחסו לכל גרסה כקטגוריה נפרדת, וכך התקבלו 219 תוויות סיווג. מבנה הרשומה כולל חמישה שדות: אות אודיו בקצב דגימה של 44,100 הרץ, ספקטרוגרמת mel לצפייה, תווית מספרית, שם הכלי בסימניות סיניות ושם הכלי בתעתיק פין יין באנגלית.
המאגר מציע שתי תצורות. תצורת ברירת המחדל מגיעה רק עם חלוקת אימון ומחזיקה את קובצי האודיו הגולמיים בפורמט חץ. התצורה השנייה היא תת מאגר להערכה שמחולק לאימון, ולידציה ובחינה, ומכיל 43,054 קטעים באורך שתי שניות שעברו חיתוך שקט וחישוב ספקטרוגרמות שונות.
מתאים ל
- סיווג כלי נגינה סיניים
אימון מודלים של למידה עמוקה לזיהוי כלי מיתר ונשיפה מסורתיים מתוך הקלטות שמע נקיות.
- אחזור מידע מוזיקלי
מחקר אקדמי בתחום MIR להשוואת מאפיינים אקוסטיים של גרסאות שונות של אותו כלי נגינה.
- בדיקת ביצועים על אודיו חלקי
הערכת עמידות של מודלי שמע על קטעים קצרים במיוחד של שתי שניות מתוך תת מאגר ההערכה.
איפה זה נופל
יש במאגר חוסר איזון מובהק בין המחלקות. 73 אחוזים מההקלטות קצרות מ־27.5 שניות, וחצי מכלל כלי הנגינה צברו פחות מ־437 שניות של שמע בסך הכל. כמות הדגימות צונחת בחדות מעבר לסף הזה. בנוסף, חלוקת ברירת המחדל לא מכילה סטים נפרדים של מבחן ואימות, כך שנדרש פיצול ידני זהיר כדי למנוע דליפת מידע. כל התוויות מוגבלות לשפות סינית ואנגלית, ואין ייצוג למוזיקה מערבית או שפות אחרות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא CC BY-NC-ND 4.0, שאינו מתיר שום פעילות מסחרית. מותר להשתמש בו אך ורק למחקר פנימי או למטרות לא מסחריות.
האם המאגר כולל תוויות בעברית?
לא. המאגר מכיל תוויות בסימניות סיניות ובתעתיק פין יין באנגלית בלבד. אין בו שום טקסט או הקשר בעברית.
מאיפה הגיעו ההקלטות ואיך הכינו אותן?
הבסיס מגיע ממאגר מולטימדיה אקדמי משנת 2019 שכלל 287 כלי נגינה. היוצרים ניקו קטעי דיבור והקלטות ללא תיוג מדויק, וכך צמצמו את המאגר ל־209 כלים עם 219 תוויות הכוללות תת גרסאות.
מה ההבדל בין תצורת default לתצורת eval?
תצורת ברירת המחדל מכילה את 4,956 הקבצים המלאים באורך ממוצע של כ־24 שניות בפיצול אימון בלבד. תצורת ההערכה חותכת את האודיו לחלקים של שתי שניות, ומחלקת אותם מראש לסטים של אימון, ולידציה ובחינה.
איך טוענים
טוענים את הנתונים דרך ספריית datasets בפייתון בעזרת קריאת load_dataset לנתיב ccmusic-database/CTIS. אין צורך לבקש אישור גישה מראש. ברירת המחדל כוללת פיצול אימון בלבד, וכדי לקבל חלוקה לולידציה ובחינה צריך לבחור בתת המאגר eval. הקבצים שמורים בפורמט Arrow המחולק לעשרות חלקים, והשדות העיקריים לעבודה הם קובץ השמע, מזהה התווית המספרי ושמות הכלים בסינית ובפין יין.
from datasets import load_dataset
ds = load_dataset("ccmusic-database/CTIS")הרישיון
הרישיון הוא CC BY-NC-ND 4.0. המשמעות היא איסור מוחלט על שימוש מסחרי, חובת מתן קרדיט מלא ליוצרים, ואיסור על הפצת יצירות נגזרות שמשנות את הנתונים. מודל שאומן על המאגר לא יכול לשמש למוצר רווחי, וההגבלה על שינוי מקשה על הפצה מחודשת של עיבודים מתוך הדאטהסט.