vocal-separation

מה זה

אתם מעלים קובץ שמע או מדביקים קישור מסרטון יוטיוב, ובוחרים באחד משלושת המודלים שמובנים בממשק. בתום העיבוד מקבלים שני קובצי שמע נפרדים, אחד של קולות השירה בלבד והשני של פלייבק הרקע, יחד עם תרשימי ספקטרוגרמה שמציגים חזותית את התדרים של כל ערוץ שחולץ.

מאחורי הקלעים רצה ספריית audio-separator עם משקלים שאומנו במסגרת פרויקט UVR. המודל המוביל כאן הוא BS-RoFormer, שנחשב למודל החזק ביותר לפי תוצאות תחרות MDX23, ולצידו אפשר לבחור גם בגרסת Mel-RoFormer או במודל המוכר HTDemucs FT כדי להשוות ביניהם ישירות על אותו הקטע.

בדף האפליקציה אין קובצי דוגמה מוכנים מראש, והיוצר אף ציין בקוד שהוא מחפש דוגמאות טובות מהמשתמשים. המשמעות היא שתצטרכו להביא קובץ משלכם או למצוא קישור מתאים ברשת כבר בבדיקה הראשונה.

מתאים ל

• יצירת גרסאות קריוקי

  מזינים שיר ומקבלים קובץ מוזיקה נקי מקולות שירה לצורך פלייבק.

• בידוד שירה לדגימות

  מחלצים ערוץ שירה בודד כדי לשלב אותו במיקסים חדשים או ברמיקס.

• השוואת ביצועי מודלים

  מריצים את אותו השיר על שלושת המודלים ובודקים מי מהם מייצר פחות עיוותים.

איפה זה נופל

הבעיה המיידית היא שהחלל נמצא במצב של שגיאת ריצה, כך שאי אפשר להריץ בו שום דבר כרגע דרך הדפדפן. בנוסף, חומרת הבסיס היא מעבד פשוט, מה שהופך הרצה של רשתות כמו RoFormer לאיטית להחריד, אם היא בכלל מסתיימת בלי חריגת זיכרון. מי שבונה על שליפת קישורים מיוטיוב עלול לגלות חסימות צד שלישי שקורות באופן תדיר בהורדות כאלה.

איך משתמשים

טוענים קובץ לממשק או מזינים כתובת יוטיוב, בוחרים מודל מתוך הרשימה ולוחצים על כפתור ההפרדה. אין צורך בחשבון או בהתחברות כדי להשתמש. יחד עם זאת, השרת מוגדר כרגע על מעבד רגיל בלבד ומצבו מדווח כשגיאת ריצה. כשהוא כן פעיל, עיבוד אותות כבד על מעבד כזה אורך זמן רב לעומת מאיץ גרפי ייעודי.

הרישיון

הקוד מופץ תחת רישיון MIT, מה שמאפשר שימוש חופשי לחלוטין, שינוי והפצה גם לצרכים מסחריים. לגבי קובצי השמע שאתם מעלים, הרישיון חל על התוכנה בלבד ולא מעניק זכויות יוצרים על המוזיקה עצמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗