MusicGen
רץ בדפדפןfacebookcc-by-nc-4.02023-06-08
מייצרים קטעי מוזיקה ישירות מתיאור טקסטואלי או ממנגינה קיימת. הפתרון מיועד ליוצרים ולחוקרים שרוצים לבדוק רעיונות מוזיקליים בלי לגעת בכלי נגינה.
- —הורדות בחודש
- 5,093לייקים
מה זה
כותבים תיאור של סגנון, כלים ומקצב, ומקבלים קובץ שמע מולחן ומעובד. אפשר גם להעלות קובץ אודיו קצר כדי לכוון את המנגינה של התוצאה, במיוחד כשמשתמשים בגרסת המלודיה.
מאחורי הקלעים רצה ספריית AudioCraft, שמשתמשת במודלי השפה של MusicGen יחד עם מפענח השמע EnCodec בשילוב Multi Band Diffusion. המערך כולל גרסאות שונות כמו מדיום, לארג' ומודלים של צלילים כלליים, שמתרגמים את הייצוגים הדחוסים בחזרה לגלי קול באיכות של עד שלושים ושניים קילוהרץ.
מתאים ל
- הפקת סקיצות מהירות
כותבים סגנון מוזיקלי בטקסט ומקבלים דגימת שמע ראשונית להשראה בלי לפתוח תוכנת עריכה.
- פיתוח מנגינה קיימת
מעלים קטע שמע קיים ומפיקים ממנו עיבוד חדש בעזרת מודל המלודיה המובנה.
- בדיקת יכולות המודל
משווים בין גרסאות המדיום והלארג' ישירות בדפדפן לפני שמחליטים להתקין את הספרייה במחשב.
איפה זה נופל
ההדגמה בדפדפן מוגבלת במשאבי המאיץ לעומת הרצה על שרת ייעודי, ולכן הפקת קטעים ארוכים במיוחד עלולה להיעצר או להימשך זמן רב. בנוסף, חומרי הדרכה לא מפורטים במלואם בממשק עצמו, והדיוק המוזיקלי עלול לרדת בתיאורים מורכבים מדי או בשפות שאינן אנגלית.
שאלות
נפוצות
האם השימוש בהדגמה עולה כסף?
לא, הגישה לממשק דרך הדפדפן אינה דורשת תשלום. עם זאת, הזמינות תלויה בהקצאת המשאבים של החומרה הפעילה.
האם אפשר להשתמש בקטעים שנוצרו בפרויקט מסחרי?
לא, משקלי המודלים שרצים כאן מוגבלים תחת רישיון לא מסחרי. כל תוצר שמופק מהם מיועד למחקר ולשימוש אישי בלבד.
האם אפשר להתקין ולהריץ את זה על המחשב?
כן, ספריית AudioCraft זמינה להתקנה דרך pip ומחייבת סביבת פייתון 3.9 וגרסת פייטארץ' עדכנית. להרצה מקומית מלאה נדרשת גם תוכנת ffmpeg ומעבד גרפי מתאים.
מה ההבדל בין האפליקציה בדפדפן לקוד המקורי?
האפליקציה עוטפת את המודלים בממשק ויזואלי של גרדיו על חומרת רשת. בקוד המקורי יש גישה חופשית גם לקוד האימון המלא ולשליטה מתקדמת בכל פרמטר של יצירת השמע.
איך משתמשים
הממשק מבוסס גרדיו ורץ על מאיץ A10G בתצורת זירו. מזינים את הטקסט, בוחרים אם לצרף קובץ הכוונה, ולוחצים על כפתור ההפקה. זמני ההמתנה תלויים בעומס על החומרה המשותפת, כך שלעיתים ייקח רגע להתחיל את הריצה אם המאיץ התעורר ממצב שינה.
הרישיון
משקלי המודלים מופצים תחת רישיון CC-BY-NC 4.0, מה שאומר שהשימוש בהם מותר למטרות מחקר ויצירה אישית בלבד, ללא שום שימוש מסחרי. קוד המקור של הספרייה עצמה פתוח ברישיון MIT.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא