SplitTrack2MusicGen

מה זה

אתם מעלים קובץ קול ובוחרים ערוץ ספציפי כמו שירה, בס או תופים. לצד זה כותבים תיאור טקסטואלי של הסגנון המוזיקלי המבוקש, למשל מקצב אלקטרוני רגוע או קטע ג'אז, ובוחרים את משך היצירה הרצוי. בתום העיבוד מקבלים קובץ שמע חדש שמשלב בין המנגינה של הערוץ המקורי לבין הסגנון שהגדרתם בטקסט.

מאחורי הממשק רץ המודל musicgen-melody מבית מטא דרך ספריית Audiocraft. המודל מחלץ ייצוג כרומה מהקטע שהזנתם ומייצר אודיו ברזולוציה של 32 קילוהרץ תוך שימוש במקודד EnCodec ובארבעה ספרי קוד במקביל.

מתאים ל

• בניית ליווי לשירה

  מעלים ערוץ קולי נקי, מגדירים סגנון מוזיקלי בתיבת הטקסט ומקבלים ליווי שמתאים את עצמו למלודיה המקורית.

• עיבוד מחדש לבייסליין

  מבודדים את תפקיד הבס מתוך הקלטה קיימת ויוצרים סביבו קטע מוזיקלי שונה לחלוטין באורך של עד חצי דקה.

• בדיקת כיווני הפקה

  מזינים קטע קיים כדי לבחון במהירות שילובים של סגנונות ומקצבים חדשים לפי הנחיות מילוליות שונות.

איפה זה נופל

ההגבלה הקשיחה ביותר היא אורך הקטע, שמגיע עד 30 שניות בלבד. אפשרות הדבקת קישורי יוטיוב מנוטרלת לחלוטין בקוד, כך שחובה להחזיק בקובץ מקומי. בנוסף, בחירת מודלים אחרים כמו גרסת ה־large חסומה בקוד ומקובעת רק על גרסת המלודיה.

איך משתמשים

טוענים קובץ אודיו ישירות מהמחשב, בוחרים בלחיצה את הערוץ לבידוד, מזינים תיאור מילולי, מכוונים את משך השניות ואת מקדם ההנחיה, ולוחצים על Submit. זמן הריצה תלוי בחומרה שמוגדרת כמעבד גרפי מסוג T4, אך נכון לעכשיו היישום נמצא במצב מושהה ולא מייצר פלט באופן מיידי.

הרישיון

המשקולות של המודל כפופות לרישיון cc-by-nc-4.0, שאינו מתיר שימוש מסחרי מכל סוג. קוד הפרויקט עצמו שוחרר ברישיון MIT, אך כל קובץ שמע שנוצר דרך המודל מוגבל לשימוש אישי ומחקרי בלבד.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗