UnlimitedMusicGen
רץ בדפדפןSurncreativeml-openrail-m2023-06-14
היישום מרכיב קטעי מוזיקה באורך בלתי מוגבל על בסיס טקסט או מנגינה קיימת. הוא מתאים ליוצרי תוכן ומפתחים שצריכים פסקול ארוך בלי לעצור כל שלושים שניות.
- —הורדות בחודש
- 373לייקים
מה זה
מזינים תיאור טקסטואלי של המוזיקה המבוקשת, למשל קצב וסגנון, ואפשר להעלות גם קובץ שמע קיים שישמש כהנחיה למלודיה. בנוסף ניתן להעלות תמונת רקע כדי לקבל סרטון וידאו עם צורת גל מונפשת לצד קובץ האודיו הרגיל.
מאחורי הקלעים רצים מודלים ממשפחת Audiocraft של פייסבוק, ובהם MusicGen, EnCodec ומודלים מסדרת MAGNeT. במקום לעצור במגבלת הזמן המקורית של המודל, המערכת מחלקת את היצירה למקטעים, מתאימה את הטנזורים בין החלקים ויוצרת רצף אחיד בעזרת חפיפה ופיידים.
התוצאה היא רצועת שמע או וידאו באורך שהגדרתם, כולל מטא-דאטה מפורט שמוטמע בקובץ ומפרט את ערכי ההרצה כמו הסיד, הטמפרטורה והמודל שנבחר.
מתאים ל
- פסקול לסרטוני וידאו
יצירת מוזיקת רקע באורך מותאם אישית יחד עם תמונת רקע וצורת גל מונפשת.
- פיתוח מלודיה קיימת
העלאת קובץ שמע קצר והרחבתו לקטע ארוך שממשיך את אותו קו מלודי.
- הפקה אוטומטית בקוד
שימוש בנקודת הקצה של ה־API ליצירת קובצי אודיו ישירות מתוך סקריפטים.
איפה זה נופל
למרות ההבטחה לרצף בלתי מוגבל, חיבור מקטעים עשוי לייצר קפיצות מוזיקליות או חוסר עקביות במבנה לאורך זמן. המודלים הוגדרו במקור למקטעים קצרים, והמנגנון שמנסה להדביק אותם לא תמיד שומר על היגיון הרמוני מושלם. בנוסף, מעבר בין מודלים שונים בתוך הממשק מוחק את המודל הקודם מהזיכרון וטוען חדש, דבר שמאט משמעותית את העבודה.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
האפליקציה פועלת בחינם דרך מענק קהילתי שמממן את שרת ה־GPU. אין צורך להזין אמצעי תשלום כדי להפיק מוזיקה דרך הדפדפן או ה־API. עם זאת, זמינות החומרה תלויה במשאבים המשותפים של השרת.
מה קורה לקבצים שאני מייצר ומעלה?
הקבצים שנוצרים נשמרים באופן אוטומטי במאגר ייעודי בשם Surn/Storage על גבי הפלטפורמה. הם מקבלים קישור ישיר לצפייה ולהורדה, ולכן אינם פרטיים. לא מומלץ להעלות חומרים רגישים או תמונות פרטיות כרקע.
במה היישום שונה מהרצת MusicGen המקורי?
המודל המקורי מפיק קטעים באורך שניות בודדות בלבד בכל פעם. הכלי הזה כולל קוד ייעודי שמפצל ומחבר מקטעים ברצף כדי לעקוף את המגבלה. בנוסף, הוא מוסיף אפשרויות וידאו, היסטוריית שימוש וממשק API מובנה.
האם אפשר להריץ את הכלי על המחשב האישי?
כן, הקוד מבוסס על ספריית Audiocraft ודורש פייתון 3.9 וספריית PyTorch. להרצת המודלים הבינוניים מקומית נדרש כרטיס מסך עם לפחות 16 גיגה-בייט של זיכרון ייעודי. ניתן להתקין אותו באמצעות הרצת פקודות pip פשוטות.
איך משתמשים
בוחרים מודל, כותבים תיאור, קובעים משך בשניות, ולוחצים על כפתור ההפקה. הממשק מופעל על חומרת zero-a10g, מה שאומר שהמעבד הגרפי מתעורר לפי דרישה, כך שייתכן עיכוב קל בטעינה הראשונית של המודל לזיכרון לפני שהעיבוד מתחיל. קיים גם ממשק API פשוט לשליחת בקשות ישירות בקוד ללא צורך בהתחברות ידנית, והקבצים הנוצרים מועלים ישירות לאחסון.
הרישיון
הפרויקט מופץ תחת רישיון CreativeML OpenRAIL-M. הרישיון מתיר שימוש מסחרי ומחייב עמידה במגבלות שימוש אחראי, אך הקבצים שנוצרים נשמרים ישירות במאגר פומבי באתר.
- שימוש מסחרי
- שינוי הקוד
- מגבלות שימוש ברישיון