irishman
קוד פתוחsander-woodmit2023-01-10
מאגר של מאות אלפי מנגינות עממיות איריות בפורמט טקסטואלי, שמיועד לאימון מודלים של שפה ליצירת מוזיקה. הוא כולל קודי בקרה מובנים שמגדירים מראש את מבנה היצירה, החזרות ומספר התיבות.
- 655הורדות בחודש
- 28לייקים
מה זה
המאגר מכיל 216,284 מנגינות שנאספו משני אתרים של קהילת המוזיקה המסורתית, thesession.org ו־abcnotation.com. הרשומות עברו המרה לקובצי XML ובחזרה לפורמט ABC כדי לייצר מבנה אחיד ונקי. במהלך הניקוי הוסרו לחלוטין שדות של שפה טבעית, כך שאין שמות של יצירות או מילים לשירים, אלא רק תווים, משקלים ומקצבים. החלוקה הפנימית מוגדרת מראש לפי 99 אחוז לאימון, שהם 214,122 יצירות, ואחוז בודד של 2,162 יצירות לוולידציה.
לכל יצירה הוצמדו קודי בקרה מבוססי טקסט המייצגים את מספר החלקים בלחן, כמות התיבות בכל חלק, ומדד דמיון מבוסס מרחק לוונשטיין בין חלקים שונים. בנוסף, יש כאן תת קבוצה מסוננת של 34,211 דפי תווים מובילים עם תיוג אנושי של אקורדים והרמוניה, שמסומנים בקובץ מזהים נפרד לצד קובצי ארכיון המכילים ייצוג מקביל בפורמטים של MIDI ושל MusicXML.
מתאים ל
- אימון מודלי יצירת לחנים
לימוד מודלי שפה ליצירת מנגינות בפורמט ABC תוך שליטה על מספר החלקים והתיבות.
- ייצור ליווי והרמוניה
שימוש בתת המאגר של דפי התווים המובילים כדי לאמן מודלים שמוסיפים אקורדים למלודיה קיימת.
- מחקר באחזור מידע מוזיקלי
ניתוח וריאציות של מנגינות עממיות וזיהוי דפוסי חזרתיות באמצעות מדד הדמיון המובנה.
איפה זה נופל
המאגר מוגבל אך ורק למוזיקה אירית ומסורתית, כך שהוא לא יעזור למי שמנסה ללמד מודל סגנונות מודרניים, פופ, או מוזיקה קלאסית מורכבת. כל הטקסט בשפה טבעית נמחק, ולכן אין אפשרות לחפש לפי שמות יצירות, יוצרים או מילות שיר, ואין שום תמיכה בעברית. בנוסף, קודי הבקרה והחלוקה לתיבות הופקו בצורה אוטומטית לפי תווים מפרידים, מה שעלול לייצר שגיאות במבנה אם המקור לא תועד בצורה מושלמת על ידי הקהילה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הטכני בעמוד הוא MIT, שמתיר שימוש מסחרי חופשי, אבל בטקסט של הכרטיס היוצרים ציינו במפורש שהמאגר נועד למחקר בלבד ולא למטרות מסחריות. הלחנים עצמם שייכים לרשות הרבים, אבל בגלל הסתירה בין הרישיון המוצהר לתנאי השימוש שהוסיפו החוקרים, שימוש מסחרי חושף אתכם לסיכון משפטי.
האם יש במאגר מילים לשירים או שמות בעברית?
אין במאגר שום טקסט בשפה טבעית, לא באנגלית ולא בעברית. בתהליך הניקוי היוצרים הסירו את כל שמות הלחנים, ההערות והמילים של השירים כדי לשמור על אחידות. המאגר מכיל אך ורק תווים, סימוני קצב, אקורדים וקודי בקרה מבניים בפורמט ABC.
איך המידע נאסף ועובד לקראת הפרסום?
כל היצירות נאספו משני מאגרים קהילתיים של מוזיקה מסורתית בשם thesession.org ו־abcnotation.com. כדי ליצור פורמט אחיד, החוקרים המירו את כל הקבצים ל־XML ולאחר מכן החזירו אותם ל־ABC באמצעות סקריפטים חיצוניים. במהלך העיבוד הם חישבו באופן אוטומטי את קודי הבקרה של המבנה והמרחקים בין חלקי השיר.
מה ההבדל בין קובצי ה־JSON לקובצי ה־ZIP במאגר?
קובצי ה־JSON מכילים את הנתונים בפורמט הטקסטואלי ABC יחד עם קודי הבקרה המבניים שמיועדים לאימון מודלי שפה. לעומת זאת, קובצי ה־ZIP מכילים את אותן המנגינות כשהן מתורגמות לפורמטים מוזיקליים סטנדרטיים של קובצי MIDI ו־MusicXML. מי שרוצה להשמיע את המוזיקה או להציג אותה בתוכנות תווים יעדיף את קובצי הארכיון.
איך טוענים
אין צורך לבקש אישור גישה כדי להוריד את הקבצים. המאגר כולל קובצי train.json ו־validation.json שמחזיקים את הטקסט בפורמט ABC לצד קודי הבקרה. מי שמעדיף לעבוד עם תוכנות תווים או כלי עיבוד מוזיקליים יכול להוריד ישירות את ארכיוני ה־ZIP המכילים קובצי MIDI ו־XML. השדות החשובים בטקסט הם תגיות המבנה שמגדירות את מספר החלקים מ־1 עד 8, מספר התיבות מ־1 עד 32, ומדד הדמיון בין החלקים שמדורג מ־0 עד 10.
from datasets import load_dataset
ds = load_dataset("sander-wood/irishman")הרישיון
הרישיון המוצהר בראש המאגר הוא רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה תחת ייחוס בלבד. עם זאת, היוצרים הוסיפו הצהרה סותרת בגוף הטקסט שלפיה השימוש מיועד למחקר בלבד ולא למטרות מסחריות, למרות שהלחנים עצמם שייכים לרשות הרבים. הסתירה הזו מייצרת סיכון משפטי, ולכן לא מומלץ להשתמש בנתונים האלה במוצר מסחרי סגור בלי לבדוק לעומק את מעמד הזכויות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש