MusicGen-Continuation
רץ בדפדפןradamescc-by-nc-4.02023-06-11
הכלי לוקח קטע מוזיקלי קצר וממשיך אותו לפי הנחיית טקסט. הוא מתאים למוזיקאים שרוצים לבדוק כיוונים חדשים לקטע קיים.
- —הורדות בחודש
- 114לייקים
מה זה
אתם מעלים קובץ שמע או מקליטים ישירות דרך המיקרופון, ומוסיפים תיאור טקסטואלי כמו happy rock או sad jazz. אפשר לחתוך מתוך הקטע חלק מסוים עם סליידרים של התחלה וסיום. בתמורה מקבלים וידאו עם צורת הגל של המוזיקה שנוצרה ונגן שמע של המנגינה. סך כל האודיו שמוזן ומיוצר יחד מוגבל ל־30 שניות בלבד.
מאחורי הקלעים רץ המודל MusicGen בגרסת melody של מטא, יחד עם טוקנייזר EnCodec ב־32kHz. המודל מייצר ארבעה codebooks במקביל עם עיכוב קל ביניהם, בקצב של 50 צעדים אוטוגרגרסיביים לכל שניית שמע. בממשק יש הגדרות מתקדמות שקובעות את אופי הדגימה, כמו Top-k עם ברירת מחדל של 250, לצד ערכי Top-p, טמפרטורה ומקדם הנחיה.
מתאים ל
- המשך מקטע נגינה קיים
מעלים רעיון ראשוני מוקלט, בוחרים סגנון בטקסט ומקבלים תוספת של כמה שניות באותו כיוון.
- פיתוח סקיצות מלודיה
חותכים כמה שניות מתוך שיר קיים ובודקים איך המודל ממשיך אותו באווירה שונה לחלוטין.
- בדיקת פרמטרים לדגימת שמע
משנים ערכי Top-k, טמפרטורה והנחיה כדי לבדוק איך הם משפיעים על יציבות הצליל.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב RUNTIME_ERROR, כך שהיא פשוט לא מגיבה כרגע. מעבר לזה, המערכת לא מתאימה ליצירת קטעים שלמים. היא דורשת חומר גלם קולי כדי להמשיך ממנו, ומגבילה את סך כל הקטע וההמשך שלו ל־30 שניות לכל היותר.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא. האפליקציה מדווחת כרגע על RUNTIME_ERROR, מה שאומר שהיא קרסה בשרת ולא תגיב ללחיצה על כפתור ההרצה עד שיתקנו אותה.
אפשר להריץ את המודל על המחשב שלי?
כן. הקוד פתוח ב־GitHub תחת ספריית audiocraft, אך תצטרכו פייתון 3.9, PyTorch 2.0 ומעבד גרפי עם 16GB זיכרון לפחות כדי להריץ את גרסת ה־melody.
במה הממשק הזה שונה מהמודל הראשי של MusicGen?
הממשק מתמקד בתכונת ה־continuation בלבד. הוא מחייב להזין שמע כדי להמשיך אותו, ולא מאפשר יצירת מוזיקה חופשית מטקסט בלבד כמו הדגמות אחרות של המודל.
כמה שניות של מוזיקה אפשר לייצר?
הקוד מגביל את סך כל המלודיה שהזנתם יחד עם משך ההמשך החדש לעד 30 שניות בלבד. אם החיבור ביניהם חורג מזה, המערכת מקפיצה שגיאה.
איך משתמשים
טוענים או מקליטים קובץ, מגדירים את משך הזמן הרצוי בסליידר, לוחצים על כפתור Submit וממתינים. ההרצה מוגדרת על חומרת t4-medium, אבל בעמוד יש שגיאת מערכת פעילה. המשמעות היא שכרגע אי אפשר להריץ אותה ישירות בדפדפן בלי לאפס או לתקן את הסביבה.
הרישיון
משקלי המודל זמינים תחת רישיון CC-BY-NC 4.0 שמונע שימוש מסחרי, בעוד שקוד המקור עצמו פתוח תחת רישיון MIT. אי אפשר להשתמש בתוצרים בפרויקטים שמניבים רווח.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא