musicgen-songstarter-v0.2
קוד פתוחnaterawcc-by-nc-4.02024-04-12
התאמה אישית של מודל המוזיקה מבית מטא שנועדה ליצור רעיונות מוזיקליים ולופים למפיקים. הוא מייצר קטעי סטריאו באיכות של 32 קילוהרץ לפי סגנון, סולם ומקצב מוגדרים מראש.
- 9.3 GBמשקל הקבצים
- 345הורדות בחודש
- 171לייקים
מה זה
המודל מבוסס על musicgen-stereo-melody-large של מטא ועבר אימון נוסף על מאגר של קטעי מלודיה שנרכשו מספריית Splice. במקום לנסות לייצר שירים שלמים עם מבנה מורכב, המטרה כאן היא לייצר לופים שישמשו בסיס ראשוני להפקה מוזיקלית. הפלט הוא סטריאו מלא בתדר דגימה של 32 קילוהרץ, וההנחיה מתבססת על תגיות קצרות, סולם מוזיקלי ומהירות ב־BPM.
בהשוואה לגרסה הקודמת שלו, המודל שודרג מבסיס בגודל medium לגודל large, ואומן על כמות דגימות גדולה פי שלושה. סך הכול מדובר על כ־1,700 עד 1,800 דגימות שנאספו ידנית, שמסתכמות בכ־7 עד 8 שעות אודיו בלבד. הוא יודע לעבוד גם באופן חופשי מטקסט בלבד, וגם לקבל קובץ אודיו קיים כבסיס מלודי ולפתח עליו את הרעיון החדש.
מתאים ל
- בניית לופים להפקה
יצירת רעיונות ראשוניים ומלודיות קצרות בסטריאו להמשך עבודה בתוכנת עריכה.
- עיבוד מלודיה קיימת
הזנת קובץ אודיו בסיסי ויצירת ליווי חדש בסולם ובקצב מוגדרים.
- פיתוח כלי עזר למוזיקאים
בדיקת ממשקי יצירה לפרויקטים אישיים שאינם למטרות רווח.
איפה זה נופל
מאגר האימון מצומצם מאוד וכולל כ־8 שעות אודיו בלבד, כך שהידע שלו נשען כמעט כולו על מה שלמד במודל המקורי של מטא. אורך המקטעים בזמן האימון קוצר ל־15 שניות, מה שאומר שהוא מתאים ללופים קצרים ולא מסוגל להחזיק התפתחות מוזיקלית ארוכה. מעבר לזה, הממשק דורש פורמט טקסט קשיח מאוד שמבוסס על תגיות, סולם ומקצב, והזנה של טקסט חופשי או תיאורים מילוליים מורכבים באנגלית תניב תוצאות פחות צפויות. הוא מבין אנגלית בלבד.
שאלות
נפוצות
האם אפשר להשתמש במודל הזה בתוך אפליקציה בתשלום?
לא. הרישיון המוגדר הוא CC-BY-NC-4.0, שאינו מתיר שימוש מסחרי מכל סוג. כל שימוש בתוך מוצר שמניב כסף מפר את תנאי הרישיון.
איך צריך לכתוב לו את הפרומפט כדי לקבל תוצאה טובה?
הוא מאומן על מבנה מוגדר בלבד. יש להזין תגיות סגנון וכלי נגינה, אחריהן סולם, ולסיים בקצב עם ציון bpm, למשל ציון של סגנון, גיטרה, סולם רה מינור ומהירות.
האם הוא יודע לייצר שיר מלא עם מילים?
לא. מדובר במודל שפולט מלודיות קצרות ורעיונות להפקה בלבד, ללא שירה וללא הבנה של טקסטים מושרים.
איך מריצים
הרצת המשקל הזה, שנפחו כ־9.3 גיגה־בייט, דורשת התקנה של ספריית audiocraft ישירות ממאגר הגיטהאב. בגלל שמדובר במודל שמבוסס על ארכיטקטורת large, תצטרכו כרטיס מסך עם זיכרון וידאו נכבד, וכרטיסים ביתיים חלשים יתקשו לייצר קטעים באורך סביר בלי לקרוס מחוסר זיכרון.
אם אין לכם חומרה ייעודית זמינה, קיימת נקודת קצה בענן דרך Replicate ומחברת פתוחה ב־Google Colab. עבור בדיקות ראשוניות או פיתוח מהיר, שימוש ב־API המרוחק של Replicate יחסוך את הצורך בהרמת תשתית כבדה ויקרה משלכם.
pip install -U huggingface_hub hf download nateraw/musicgen-songstarter-v0.2
הקבצים
9 קבצים במאגר, 9.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא cc-by-nc-4.0, כלומר שימוש לא מסחרי בלבד. מותר לבדוק אותו, לפתח איתו סביבת מחקר או לנגן איתו לשימוש עצמי, אך אסור להטמיע אותו במוצר שמייצר הכנסה או לגבות תשלום על שירות שמבוסס עליו ישירות. בנוסף, חובה לתת קרדיט ליוצר.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא