deepafx-st
רץ בדפדפןnaterawother2022-07-19
הכלי מעביר מאפייני הפקה וסאונד מקובץ אודיו אחד לאחר, והוא מיועד למי שרוצה להתאים גוון של דיבור או מוזיקה להקלטת רפרנס.
- —הורדות בחודש
- 72לייקים
מה זה
מעלים שני קבצי אודיו ובוחרים אם מדובר בדיבור או במוזיקה. הקובץ הראשון הוא המקור שרוצים לשנות, והשני משמש כדוגמת הסאונד שהמודל מנסה לחקות.
מאחורי הממשק רצים שני מודלים שונים של deepafx-st שנבנו עם autodiff. אחד אומן על libritts ומיועד לעיבוד קול אנושי, והשני אומן על jamendo ומטפל בקטעי מוזיקה. לפי הבחירה שלכם בתפריט, המערכת מפעילה את המודל המתאים כדי להעתיק את מאפייני האודיו.
הממשק כולל דוגמאות מובנות מתוך מאגר nateraw/examples. אפשר לבדוק שם קבצי קול גולמיים מול קול מעובד, או קטעי מוזיקה כמו קובץ שעבר פילטר highpass מול קטע מלא.
מתאים ל
- התאמת סאונד של דיבור
העתקת גוון ההקלטה מרפרנס של קריינות לקובץ דיבור גולמי בעזרת מודל הדיבור.
- השוואת הפקה במוזיקה
ניסיון להעביר מאפייני מיקס או סינון מקטע מוזיקלי מעובד לרצועת מוזיקה אחרת.
- בדיקת המודל דרך דוגמאות
האזנה לדוגמאות המוכנות ממאגר הדאטה כדי לשמוע איך האלגוריתם מטפל בסינון תדרים.
איפה זה נופל
המגבלה הכי גדולה כרגע היא טכנית לחלוטין. האפליקציה תקועה על BUILD_ERROR ולכן אינה עובדת באתר. מעבר לכך, המודלים מוגבלים לסוג הדאטה שעליו הם אומנו, libritts לדיבור ו־jamendo למוזיקה, ולא תמיד יתמודדו טוב עם הקלטות רועשות או סגנונות שלא נכללו באימון. הממשק גם מריץ batch size של 1 על מעבד פשוט בלבד.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא, כרגע הספייס מדווח על BUILD_ERROR והממשק אינו פעיל. כדי להשתמש בו צריך לחכות שהיוצר יתקן את הבנייה, או להוריד את הקוד ולהריץ אותו ידנית.
האם השימוש עולה כסף או דורש חשבון?
הגישה לעמוד פתוחה לגמרי ואינה דורשת תשלום. אין צורך בהתחברות או בהזנת כרטיס אשראי כדי לראות את הקוד והמבנה.
מה קורה לקבצי האודיו שמעלים?
הקבצים נשלחים לעיבוד בממשק Gradio שרץ על גבי השרת הבסיסי. הממשק אינו שומר את הדוגמאות ב־cache באופן קבוע, אך המידע עובר דרך התשתית שמארחת את הדף.
איך מריצים את זה מקומית אם האתר לא עובד?
אפשר למשוך את קוד ה־Python מהמאגר יחד עם קובצי המשקולות של המודלים מ־Hugging Face. צריך להתקין את הספריות הרלוונטיות כמו torchaudio ו־deepafx-st ולהריץ את הקוד בסביבה שלכם.
איך משתמשים
טוענים שני קבצים ישירות לתוך תיבות האודיו, בוחרים speech או music בתפריט הנפתח, ומריצים. אין צורך בהרשמה או התחברות כדי לגשת לממשק.
האפליקציה מוגדרת על חומרת cpu-basic בסיסית, כך שעיבוד של קבצים כבדים עלול לקחת זמן. הבעיה העיקרית היא שהספייס נמצא כרגע במצב של שגיאת בנייה BUILD_ERROR, ולכן אי אפשר להריץ אותו ישירות בדפדפן עד שיתקנו אותו.
הרישיון
הרישיון מוגדר כ־other, כלומר אין רישיון קוד פתוח סטנדרטי מוצהר. אם אתם מתכננים שימוש מסחרי או רוצים לדעת מה הזכויות על התוצר, צריך לבדוק את התנאים הישירים מול היוצר.