AudioSep

מה זה

מעלים קובץ שמע מעורבב ומקלידים בתיבת הטקסט מה בדיוק רוצים לשלוף החוצה. הפלט שמתקבל הוא קובץ אודיו שמכיל רק את הצליל שהוגדר בתיאור, כשהשאר מושתק או מונחת. הממשק מציג גם דוגמאות מוכנות מראש של קבצי שמע עם הנחיות טקסט שונות, כדי לבדוק איך ההפרדה עובדת בלי להעלות קבצים מהמחשב.

מאחורי הקלעים הקוד טוען מודל בשם audiosep_base_4M_steps יחד עם מקודדי שפה כמו bert-base-uncased, roberta-base או bart-base. המודלים האלה מתרגמים את הוראת הטקסט לוקטור שמנחה את מודל ההפרדה לפקס את אלגוריתם הבידוד על גל השמע הנכון.

מתאים ל

• בידוד כלי נגינה

  שליפת סולו של גיטרה, פסנתר או תופים מתוך שיר קיים בעזרת תיאור הכלי באנגלית.

• הסרת רעשי רקע

  ניקוי הקלטות של דיבור על ידי בקשה לבודד רק את הקול האנושי מההמולה שמסביב.

• חילוץ אפקטים לעריכה

  הפרדת צליל של נביחת כלב או צפירת מכונית מתוך פס קול מלא לצורך שימוש מחדש.

איפה זה נופל

החיסרון הבולט הוא שההדגמה שבורה כרגע ולא מנגנת כלום בגלל תקלה בקוד. מעבר לזה, מודלים של שפה כמו ברט עובדים באנגלית, כך שהקלדת תיאורים בעברית כנראה לא תביא לתוצאה טובה. אל תבנו על זה לפרויקטים דחופים דרך הדפדפן לפני שבודקים אם היא בכלל קמה לתחייה.

איך משתמשים

בפועל בוחרים או מעלים קובץ, כותבים שאילתת טקסט ולוחצים על הכפתור שמפעיל את העיבוד. הסביבה מוגדרת לרוץ על חומרת a10g-small שאמורה לספק עיבוד מהיר, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה. כל עוד היא לא אותחלה מחדש, אי אפשר להריץ אותה ישירות בדפדפן.

הרישיון

הקוד מפורסם תחת רישיון mit, מה שמאפשר שימוש חופשי לגמרי, כולל שינוי והרצה מסחרית. לגבי קבצי השמע שמעלים, אין תיעוד מסודר שמפרט שמירה או פרטיות, ולכן מומלץ לא להזין חומרים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗