musicgen-prompt-upsampling
רץ בדפדפןreach-vbרישיון לא דווח2023-11-29
כותבים תיאור קצר ופשוט של שיר ומקבלים קטע מוזיקלי מעובד. הכלי מתאים ליוצרים שמחפשים סקיצות שמע מהירות בלי להסתבך עם ניסוח פקודות מורכבות.
- —הורדות בחודש
- 63לייקים
מה זה
התהליך מתחיל בתיבת טקסט אחת שבה אתם מקלידים את הרעיון שלכם, אפילו בכמה מילים בודדות. במקום לשלוח את הטקסט הקצר ישירות למחולל המוזיקה, המערכת מעבירה אותו קודם דרך מודל השפה Mixtral-8x7B-Instruct-v0.1, שמרחיב ומפרט את הבקשה לרמת הפקה מוזיקלית מלאה.
הפרומפט המורחב מוצג בתיבה נפרדת, ובמקביל הוא מועבר למודל facebook/musicgen-stereo-medium כדי לייצר את קובץ האודיו בסטריאו. הפלט הסופי כולל נגן שמע שבו אפשר להאזין לתוצאה ולהוריד אותה, לצד הטקסט המורחב שנוצר, כך שאפשר לראות בדיוק אילו כלי נגינה ומקצבים נוספו לתיאור המקורי.
מתאים ל
- שדרוג פרומפטים קצרים
כותבים רעיון בסיסי של כמה מילים ומקבלים ניסוח מפורט שמתאים ליצירת מוזיקה.
- יצירת קטעי סאונד בסטריאו
מפיקים קטעי מוזיקה ישירות מתיאור טקסטואלי בלי להתעסק בהגדרות טכניות.
- למידת כתיבת פקודות
רואים איך מודל שפה מנתח בקשה קצרה והופך אותה להנחיות הפקה עשירות.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט מושהית ולא פועלת כרגע בעמוד המקורי. בנוסף, חומרת t4-small היא בסיסית יחסית למודל שפה גדול יחד עם מודל סאונד בסטריאו, מה שעלול לייצר צווארי בקבוק. אין לכם שליטה על האופן שבו מודל השפה משנה את הפרומפט, כך שאם הוא מנחש לא נכון את הכיוון שרציתם, תקבלו מוזיקה שונה לגמרי בלי יכולת להתערב באמצע.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא ישירות בדפדפן. המופע נמצא כרגע במצב מושהה, ולכן תצטרכו לשכפל את הקוד ולהריץ אותו בחומרה משלכם.
כמה עולה להשתמש בה?
האפליקציה עצמה פתוחה בקוד שלה, אך הרצתה מחדש דורשת הקצאת משאבי מחשוב. העלות תלויה בחומרה שתבחרו לשכפול, למשל שרת עם מאיץ גרפי.
מה קורה עם הטקסט שאני מקליד?
הטקסט נשלח למודל השפה כדי להרחיב אותו ומשם למודל האודיו. אין בממשק אזכור לשמירה מיוחדת של הקבצים, אך הכל עובר דרך שרתי העיבוד של המודלים.
אפשר להריץ את זה על המחשב בבית?
כן, הקוד מבוסס על ספריות פתוחות כמו transformers. עם זאת, תצטרכו כרטיס מסך חזק כדי להריץ במקביל גם את מודל השפה וגם את מודל האודיו.
איך משתמשים
מקלידים תיאור קצר בתיבה ולוחצים על Generate Music. כרגע האפליקציה במצב מושהה, כך שאי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש או לשכפל את הקוד לחשבון שלכם. כשהיא רצה, היא מוגדרת על חומרת t4-small, מה שאומר שהשילוב של הרחבת טקסט עם מודל שפה ויצירת אודיו בסטריאו דורש בדרך כלל המתנה של לפחות כמה עשרות שניות.
הרישיון
האפליקציה פורסמה בלי רישיון מוגדר, ולכן מבחינה חוקית אין הרשאה ברורה להשתמש בקוד, בפרומפטים שנוצרו או באודיו לפרויקטים מסחריים. מומלץ להתייחס לתוצרים כהדגמה טכנולוגית בלבד עד שבעל המאגר יגדיר תנאי שימוש.