ChatMusician

מה זה

מדובר בהרחבה של LLaMA2 שאומנה על קובצי טקסט של תווים בפורמט ABC Notation מתוך מאגר MusicPile. המטרה כאן הייתה ללמד מודל שפה מוזיקה כשפה שנייה, בלי להוסיף מקודדים ייעודיים לצליל. הוא מייצר קטעים מוזיקליים שלמים לפי הנחיות מילוליות, מהלכי אקורדים או מוטיבים קצרים, ומסוגל גם לנתח יצירות קיימות.

במבחני MusicTheoryBench שנבדקו במצב אפס דוגמאות, הוא עקף את GPT-3.5 ואת מודל הבסיס שלו בהבנה ובהסקה של תאוריית המוזיקה. בנוסף, המפתחים מדווחים שהיכולת הטקסטואלית הכללית שלו לא נשחקה, והוא אפילו קיבל ציון MMLU מעט גבוה יותר בהשוואה לבסיס שממנו יצא.

מתאים ל

• הלחנה לפי מהלך אקורדים

  יצירת קטעי מוזיקה מלאים בפורמט ABC על בסיס רצף אקורדים שמוגדר בפרומפט.

• הרמוניזציה למלודיה נתונה

  התאמת ליווי ואקורדים למנגינה קיימת שהוזנה כטקסט תווים.

• ניתוח מבנה מוזיקלי

  זיהוי מוטיבים חוזרים, חלוקה לבתים ופזמונים ופענוח מבנים ביצירות קצרות.

איפה זה נופל

הבעיה הבולטת ביותר היא הטיה חזקה למוזיקה אירית מסורתית, בגלל אופי הנתונים במאגר האימון. הוא גם נוטה להזיות עובדתיות, והמפתחים עצמם מזהירים שלא להסתמך עליו לחינוך או להוראת תאוריה. בנוסף, חלון ההקשר קצר ועומד על 2,048 טוקנים בלבד.

המודל דורש פרומפטים מדויקים ונוקשים כדי לא להישבר, ומציג יכולות חלשות בהסקה בשלבים או בלמידה מתוך דוגמאות בהקשר. התוצאות הטובות במבחנים הושגו במצב פרפלקסיטי, וגנרציה ישירה וחופשית מייצרת לעיתים קרובות פלט באיכות נמוכה בהרבה.

איך מריצים

כדי להריץ אותו מקומית בפורמט המקורי צריך כרטיס מסך עם לפחות 16 עד 24 גיגה זיכרון, בהתאם לרמת הקוונטיזציה שתבחרו ליישם. הקבצים שוקלים כ־25.1 גיגה-בייט, כך שהורדה והרצה על חומרה ביתית פשוטה בלי האצה גרפית מתאימה ירגישו כבדות ואיטיות מאוד.

אם אתם רק רוצים לבדוק איך הוא מגיב לפרומפטים מוזיקליים, יש לו הדגמת רשת מבוססת Gradio וממשק שורת פקודה שכולל רינדור של תווי ABC לתמונות. ליישום קל ומהיר בלי תחזוקת תשתית, עדיף להרים קריאות מול שרת ייעודי או ממשק חיצוני שמארח אותו.

from transformers import pipeline

pipe = pipeline("text-generation", model="m-a-p/ChatMusician")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 25.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• pytorch_model-00001-of-00002.bin10.0 GB
• model-00001-of-00002.safetensors10.0 GB
• pytorch_model-00002-of-00002.bin3.5 GB
• model-00002-of-00002.safetensors3.5 GB
• tokenizer.json1.8 MB
• tokenizer.model499.7 KB
• chatmusician_demo.png351.7 KB
• MusicTheoryBench_result_plt.png254.4 KB
• model.safetensors.index.json25.1 KB
• pytorch_model.bin.index.json23.9 KB
• README.md11.0 KB
• .gitattributes1.5 KB
• tokenizer_config.json1.1 KB
• config.json620 B
• generation_config.json132 B
• special_tokens_map.json96 B
• added_tokens.json60 B

הרישיון

רישיון MIT מאפשר שימוש חופשי לחלוטין, כולל שינוי הקוד, שילוב במוצרים מסחריים והפצה מחדש. הדרישה היחידה היא לכלול את הצהרת זכויות היוצרים וכתב הוויתור המקוריים בכל עותק שתפיצו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗