MelodyFlow
רץ בדפדפןfacebookcc-by-nc-4.02024-10-23
ממשק ליצירת מוזיקה ואפקטים קוליים מתיאור טקסטואלי, שמיועד ליוצרים ולחוקרים שרוצים לבדוק מודלים שונים להפקת אודיו ישירות בדפדפן.
- —הורדות בחודש
- 167לייקים
מה זה
אתם כותבים תיאור טקסטואלי של הצליל או הקטע המוזיקלי שאתם רוצים, והממשק מייצר קובץ שמע להאזנה ולהורדה. לפי הגדרות המערכת, התשתית כוללת אפשרויות לקטעים באורך עשר או שלושים שניות, תלוי במודל שנבחר.
מאחורי הקלעים פועלת ספריית AudioCraft שמחברת מספר מודלים של חברת מטא. בין המודלים שמוגדרים כאן תמצאו את סדרת MAGNeT ליצירת מוזיקה וצלילים בשיטה שאינה אוטורגרסיבית, לצד מודלים מבוססי AudioGen ליצירת רעשי סביבה. הדחיסה והפענוח של האודיו נשענים על EnCodec, ובנוסף משולב המנגנון של AudioSeal להטמעת סימני מים דיגיטליים בתוכן המופק.
מתאים ל
- הפקת אפקטים קוליים
יצירת קולות רקע קצרים כמו רעשי רוח או צעדים מתוך תיאור טקסטואלי בלבד.
- יצירת רעיונות למנגינות
קבלת קטעי מוזיקה אינסטרומנטלית ראשוניים באורך עשר או שלושים שניות.
- בדיקת מודלים של מטא
השוואה מעשית בין ביצועי MAGNeT לביצועי AudioGen ישירות דרך הדפדפן.
איפה זה נופל
המודלים שרצים כאן לא יודעים לייצר שירה או קולות דיבור של ממש, אלא רק מוזיקה אינסטרומנטלית או רעשי רקע. בנוסף, חומרת השרת השיתופית עשויה להוביל לתורים ארוכים בזמני עומס, והתוצאות עלולות לכלול רעשים דיגיטליים בקטעים מורכבים.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הממשק פתוח לשימוש חופשי בדפדפן ללא צורך בתשלום. עם זאת, השימוש ברישיון מוגבל למטרות לא מסחריות בלבד לפי תנאי המודלים.
האם אפשר להריץ את הכלים האלה במחשב מקומי?
כן, ספריית AudioCraft זמינה להתקנה מקומית באמצעות pip ומאגר הקוד פתוח. דרושה סביבת פייתון מוגדרת היטב עם כרטיס גרפי מתאים כדי להריץ את המודלים במהירות סבירה.
האם אפשר להשתמש בקטעי האודיו שנוצרו לפרסומות או מוצרים?
לא, רישיון המשקלים הוא CC-BY-NC 4.0 שאינו מתיר שימוש מסחרי מכל סוג. בנוסף, הקבצים כוללים סימון מים דיגיטלי של כלי AudioSeal שמזהה שהשמע נוצר באמצעות המודלים האלה.
במה הממשק הזה שונה מהרצה ישירה של המודלים בקוד?
הממשק בדפדפן חוסך את כל שלבי ההתקנה, הגדרות התלויות וניהול החומרה, אך הוא מגביל אתכם לפרמטרים הבסיסיים שנבחרו עבור ההדגמה. בקוד המקור המלא יש שליטה מדויקת יותר על אורך השמע, דחיסת המקודד ואפשרויות כוונון נוספות.
איך משתמשים
נכנסים לעמוד בגרדיו, מקלידים את תיאור האודיו הרצוי בתיבת הטקסט ולוחצים על כפתור ההפקה. האפליקציה רצה על חומרת A10G שמוקצית לפי דרישה, כך שאם השרת קר ייתכן שתמתינו זמן מה עד שהסביבה תעלה ותטען את המשקלים. מרגע שהמודל פעיל, משך העיבוד תלוי בעומס המשתמשים הכללי ובאורך הקטע שביקשתם להפיק.
הרישיון
משקלי המודלים שמופעלים כאן מוגדרים תחת רישיון CC-BY-NC 4.0, ולכן השימוש בהם מותר למחקר ולמטרות אישיות בלבד ולא לפרויקטים מסחריים. קוד המקור של הספרייה מופץ ברישיון MIT.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא