vampnet
רץ בדפדפןdescriptרישיון לא דווח2023-07-11
descript עומדים גם מאחורי Descript Overdub, ויש עליו סקירה כאן.
הכלי מייצר וריאציות מוזיקליות מתוך קטעי שמע קיימים בעזרת מודל שפה מבוסס מסכות. הוא מתאים ליוצרים ומפיקים שמחפשים רעיונות להמשך או פירוק של ביטים קצרים.
- —הורדות בחודש
- 37לייקים
מה זה
מעלים קובץ קול קצר או בוחרים שמע לדוגמה ישירות מתוך הממשק. המערכת מייצרת גרסה חדשה של הקטע, כשהיא מחליפה חלקים מוזיקליים בהתאם למסכות שנבחרו, כמו שמירה על ביטים ספציפיים, מתיחה בזמן או שינוי גובה הצליל.
מאחורי הקלעים פועל מודל שנבנה על גבי Descript Audio Codec בטכניקת masked transformers. התהליך כולל מודל בסיסי coarse ומודל fine לשיפור האיכות, כאשר מנתחים את השמע באמצעות כלי קצב כמו madmom כדי למסך אזורים מדויקים בציר הזמן.
מתאים ל
- יצירת וריאציות ללופים
מזינים מקצב של עד עשר שניות ומקבלים גרסה עם שינויים פנימיים תוך שמירה על המבנה המקורי.
- עריכת שמע מבוססת ביט
מגדירים מסכות על הפעמות כדי להחליף אלמנטים מוזיקליים נקודתיים בלי לשבור את הגרוב.
- שינוי גובה ומתיחת זמן
משנים pitch ומותחים את השמע בעזרת הסליידרים בממשק ליצירת טקסטורות צליל חדשות.
איפה זה נופל
המגבלה הטכנית הקשיחה ביותר היא אורך הקלט, עד עשר שניות בלבד. העלאה של קובץ ארוך מזה תוביל לקריסה של העיבוד, כך שחובה לחתוך שירים מראש. בנוסף, נכון לעכשיו ההדגמה ברשת בכלל לא עולה בגלל שגיאת מערכת, כך שאי אפשר לבדוק אותה בדפדפן בלי להוריד את הקוד ולהריץ עצמאית.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה הזאת כרגע בדפדפן?
לא, המופע נמצא כרגע במצב תקול של RUNTIME_ERROR. כדי לבדוק אותו בפועל תצטרכו להוריד את המאגר ולהריץ אותו במחשב מקומי.
האם מותר להשתמש בתוצאות בפרויקטים מסחריים?
לא, משקולות המודל מופצות תחת רישיון CC BY-NC-SA 4.0 שאינו מתיר שימוש מסחרי. כל קטע מוזיקלי שנוצר דרכו מוגבל לשימוש פרטי או מחקרי בלבד.
האם אפשר להעלות שיר שלם של כמה דקות?
אי אפשר, יש מגבלה ברורה של עד עשר שניות לקובץ. קבצים ארוכים יותר יגרמו לשגיאה, ולכן חובה לקצר את הקטעים לפני ההעלאה.
מה צריך כדי להריץ את הכלי במחשב שלי?
תצטרכו סביבת פייתון 3.9 בלבד, בין היתר בגלל תאימות לספריית madmom. מעבר לכך צריך להוריד את המשקולות מזנודו ולהחזיק מעבד גרפי מתאים של אנבידיה.
איך משתמשים
טוענים קובץ או משתמשים בכפתור הדוגמה, בוחרים פריסט או מכוונים סליידרים ידנית, ולוחצים על כפתור הייצור. יש אפשרות להאזין לתוצאה, להוריד אותה או להזין אותה בחזרה לקלט לסבב עיבוד נוסף.
ההדגמה מוגדרת לרוץ על מעבד גרפי מסוג t4-medium, אבל כרגע המופע הציבורי תקוע במצב של שגיאת ריצה. כשהוא כן עובד, העיבוד אמור לקחת שניות בודדות לקטעים קצרים, אולם כרגע הדף אינו מגיב.
הרישיון
הרישיון של המרחב עצמו לא דווח בעמוד. עם זאת, המשקולות של המודלים המאומנים מראש זמינות תחת רישיון CC BY-NC-SA 4.0, מה שאומר שאסור להשתמש בתוצרים שלהם לצרכים מסחריים וכל פיתוח נגזר מחייב שיתוף תחת אותו רישיון.