wavlm-speaker-verification
רץ בדפדפןmicrosoftרישיון לא דווח2022-03-02
microsoft עומדים גם מאחורי Sho, ויש עליו סקירה כאן.
הכלי משווה בין שתי הקלטות קול וקובע אם שתיהן שייכות לאותו אדם. הוא מיועד למפתחים שרוצים לבדוק זיהוי דובר בלי להרים שרת בעצמם.
- —הורדות בחודש
- 50לייקים
מה זה
אתם מספקים שני קטעי שמע, אחד עבור כל דובר, דרך המיקרופון או בהעלאת קובץ. התוצאה המוצגת היא פלט HTML שמראה את ההחלטה לגבי ההתאמה בין הקולות, בהתבסס על רמת הדמיון שנמדדה.
מאחורי הקלעים רץ המודל microsoft/wavlm-base-plus-sv יחד עם ארכיטקטורת X-Vectors. הקוד משתמש בחבילות torchaudio ו־pydub כדי לעבד את האודיו ולהחיל עליו אפקטים, ולאחר מכן מחלץ מאפיינים ומפיק וקטורים שמייצגים את מאפייני הקול של כל דובר כדי להשוות ביניהם. בממשק יש גם דוגמאות מובנות שאפשר להפעיל בלחיצה כדי לראות איך ההשוואה עובדת על קבצים קיימים.
מתאים ל
- אימות זהות קולית
בדיקה אם שתי הקלטות שונות שייכות לאותו אדם לצורך אימות משתמש.
- בדיקת דמיון בין דגימות
השוואת איכות ההפרדה בין קולות שונים בדוגמאות מוקלטות מראש.
- הערכת ביצועי מודל
בחינה ראשונית של התנהגות המודל מול דגימות שמע קצרות.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן ונתקעת בשגיאת ריצה, כך שאי אפשר להשתמש בה כרגע. מעבר לזה, מדובר בהשוואה ישירה של שני קטעים בלבד, והיא לא מזהה דוברים מתוך מאגר גדול ולא מפרידה בין קולות שמדברים בו-זמנית באותה הקלטה.
שאלות
נפוצות
האם האפליקציה עובדת כרגע בדפדפן?
לא, היא במצב תקול של שגיאת ריצה. כדי להשתמש ביכולות שלה צריך לשכפל את הקוד או להריץ את המודל ישירות בסביבה מקומית.
האם השירות כרוך בתשלום?
הגישה לעמוד בהאגינג פייס פתוחה בחינם לכל משתמש. אין צורך לשלם על זמן הריצה, אך החומרה שמוקצית לו מוגבלת למעבד בסיסי.
מה קורה עם קבצי הקול שאני מקליט?
הקבצים נשלחים לעיבוד ישירות על השרת שמארח את הממשק לצורך ביצוע ההשוואה. מאחר שאין פירוט על שמירת הנתונים, לא כדאי להעלות הקלטות עם מידע רגיש.
במה הממשק שונה משימוש ישיר במודל?
הממשק רק עוטף את המודל ומציג דוגמאות בסיסיות של אחד מול אחד בפורמט HTML. שימוש ישיר בספריה בקוד שלכם מאפשר להשוות כמויות גדולות של קבצים ולהתאים את תהליך עיבוד האודיו.
איך משתמשים
נכנסים לעמוד, מקליטים שני קטעי קול או בוחרים מתוך הדוגמאות המוכנות, ולוחצים על כפתור ההרצה כדי לקבל את הניתוח. הממשק מוגדר לרוץ על חומרת cpu-basic הפשוטה ביותר, ללא כרטיס גרפי ייעודי, כך שעיבוד האודיו עשוי לקחת כמה שניות לכל קובץ. כרגע לא תצליחו להריץ אותו בכלל, כי העמוד נמצא במצב של שגיאת ריצה (RUNTIME_ERROR).
הרישיון
הרישיון של הפרויקט לא דווח בריפו. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקוד או בהגדרות של המרחב, וצריך לבדוק בנפרד את תנאי השימוש של המודל הבסיסי עצמו לפני שמריצים אותו בסביבה ארגונית.