musicgen-songstarter-demo
רץ בדפדפןartificialguybrרישיון לא דווח2024-04-13
הכלי מייצר קטעי מוזיקה קצרים לפי תיאור טקסטואלי או מנגינה שמעלים אליו. הוא מתאים ליוצרים שמחפשים רעיון ראשוני לסקיצה בלי להסתבך בהפקה.
- —הורדות בחודש
- 75לייקים
מה זה
הממשק מבוסס על gradio ומבקש שני דברים: תיאור טקסטואלי של הצליל הרצוי וקובץ אודיו אופציונלי שמשמש כבסיס למלודיה. בתיבת הטקסט אפשר להגדיר כלי נגינה, סולם, קצב בדפיקות לדקה וז'אנר, למשל שילוב של גיטרה אקוסטית ומקצב טראפ בסי במול ובקצב תשעים. הפלט שמתקבל הוא קובץ אודיו בודד להאזנה ולהורדה.
מאחורי הקלעים רץ המודל nateraw/musicgen-songstarter-v0.2 שנטען באמצעות ספריית audiocraft. אם אתם מעלים קובץ מלודיה, הקוד משתמש בפונקציה מבוססת chroma כדי לחלץ את המבנה המוזיקלי שלו ולהלביש עליו את הסגנון שהגדרתם. אם משאירים את שדה האודיו ריק, המודל מייצר קטע חופשי לחלוטין שמסתמך רק על מילות התיאור שלכם.
מתאים ל
- בניית לופים ראשוניים
כתיבת תיאור מהיר של מקצב וסולם כדי לקבל קטע רקע לפיתוח שיר.
- הלבשת סגנון על מלודיה
העלאת הקלטה קיימת והפיכתה לקטע בסגנון מוזיקלי אחר לגמרי.
- בדיקת המודל של nateraw
האזנה לאופן שבו גרסת הסונגסטארטר מגיבה להגדרות BPM וסולמות.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה תקועה על שגיאת הגדרה ולא תנגן שום דבר. מעבר לזה, הקוד לא חושף שליטה באורך הקטע שנוצר, בטמפרטורה או בפרמטרים מתקדמים של המודל המקורי. מי שמחפש יצירה של שיר שלם או ערוצים מופרדים לא ימצא את זה כאן, כי הממשק מוציא רק קובץ שמע אחד קצר כרעיון התחלתי בלבד.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
האפליקציה מפורסמת בחינם לגישה ישירה דרך הדפדפן. לא נדרש תשלום מראש כדי לפתוח אותה, אך כרגע היא תקועה במצב שגיאה טכני שלא מאפשר הרצה תקינה.
כמה זמן לוקח לייצר קטע מוזיקה?
הקוד מיועד לרוץ על חומרת zero-a10g, כך שזמן היצירה אמור להיות קצר מאוד ולהימשך שניות בודדות. בפועל, בגלל התקלה הנוכחית במערכת, הממשק לא מתחיל אפילו לעבד את הבקשות.
מה קורה לקבצי האודיו שאני מעלה לשם?
הקוד שומר את הקלט והפלט עם מזהה ייחודי מסוג uuid על גבי השרת שמריץ את ההדגמה. בגלל שלא פורסמו תנאי שימוש או רישיון, לא מומלץ להעלות לשם חומרים רגישים או הקלטות שטרם פורסמו.
אפשר להריץ את הכלי באופן מקומי במחשב שלי?
כן, הקוד מסתמך על audiocraft והמודל nateraw/musicgen-songstarter-v0.2 שזמינים ברשת. אם יש לכם סביבת פייתון ומעבד גרפי מתאים, תוכלו להעתיק את הקוד מ־app.py ולהפעיל אותו אצלכם ללא תלות בעמוד הזה.
איך משתמשים
אתם כותבים פרומפט קצר בתיאור, בוחרים אם להעלות קובץ נגינה, ולוחצים על כפתור ההפעלה. העיבוד מבוסס על מעבד גרפי מסוג zero-a10g שמקצה משאבים לפי דרישה, מה שאמור לספק יצירה מהירה של שניות בודדות. עם זאת, נכון לעכשיו עמוד ההדגמה מוגדר במצב של שגיאת קונפיגורציה, כך שאי אפשר להריץ אותו בפועל בדפדפן עד שהמפתח יתקן את ההגדרות.
הרישיון
הרישיון לא דווח בעמוד של האפליקציה. בלי רישיון רשמי ומוגדר, אין לכם אישור ברור להשתמש בתוצרים בפרויקטים מסחריים או לדעת איך הקבצים נשמרים.