NSynth

מה זה

המאגר מציע הקלטות באורך קבוע של ארבע שניות. כל דגימה כוללת צליל בודד שנמשך שלוש שניות עם דעיכה של שנייה אחת. הדגימות נלקחו מחבילות דגימה מסחריות של מעל 1000 כלים, ונפרסות על פני גבהי הצליל של פסנתר תקני וחמש רמות עוצמה שונות. הממוצע בפועל עומד על 65.4 גבהים לכלי ו־4.75 רמות עוצמה ייחודיות לכל גובה.

כל הקלטה כוללת תיוג שמבוסס על שילוב של שיפוט אנושי ואלגוריתמים יוריסטיים. התיוג כולל את מקור הצליל, כמו אקוסטי, אלקטרוני או סינתטי, שיוך לאחת מתוך 11 משפחות כלים, ועשר תכונות אקוסטיות בינאריות כמו עיוות, בהירות או הדהוד.

החלוקה הפנימית מפרידה לחלוטין את הכלים עצמם בין החלקים כדי למנוע דליפת מידע. סט האימון מכיל 289,205 דגימות, סט האימות מכיל 12,678 דגימות, וסט הבדיקה כולל 4,096 דגימות.

מתאים ל

• אימון מודלים לייצור אודיו

  יצירה וסינתזה של צלילי כלי נגינה חדשים ומעברים בין גווני סאונד שונים.

• סיווג משפחות כלי נגינה

  זיהוי אוטומטי של כלי נגינה ומשפחתו מתוך הקלטת שמע של צליל בודד.

• חיזוי איכויות סאונד

  אימון מסווגים שמזהים מאפיינים כמו דיסטורשן, בהירות או צליל עמום.

איפה זה נופל

יש במאגר פערי ייצוג כבדים בין שילובי משפחות ומקורות. אין בכלל כלי מיתר, כלי נשיפה ממתכת או עוגב ממקור סינתטי, ויש פחות ממאה דגימות אלקטרוניות לכלי מיתר, חליל וכלי נשיפה מעץ. אם אתם בונים מסווג שמנסה לזהות מקור של כלי, המודל ייכשל בגלל חוסר המידע. בנוסף, מדובר בצלילים בודדים ומבודדים בלבד ולא במוזיקה רציפה או בהקשרים פוליפוניים טבעיים, כך שזה לא מתאים לבדיקת מודלים על שירים מלאים.

איך טוענים

המאגר נגיש להורדה ציבורית ללא צורך באישור מראש או ברישום מיוחד. הוא ארוז כקובצי Parquet המחולקים למקטעים, יחד עם סקריפט טעינה ייעודי. גודל הדגימה בכל ההקלטות הוא 16000 הרץ. כל רשומה מחזירה אובייקט אודיו עם מערך ערכים מספריים לצד שדות המטא-דאטה, שבהם המזהים הטקסטואליים והמספריים של הכלי, הגובה, העוצמה והווקטור של התכונות הקוליות.

from datasets import load_dataset

ds = load_dataset("jg583/NSynth")

הרישיון

הרישיון הוא CC-BY 4.0. מותר להשתמש בדאטהסט לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים. החובה היחידה היא לתת קרדיט הולם ליוצרים המקוריים ולציין אם בוצעו שינויים. אין דרישה לשתף את המודלים שתאמנו תחת אותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗