whisper-speaker-recognition

מה זה

אתם מעלים קובץ אודיו דרך הממשק ומגדירים את כמות הדוברים שמשתתפים בהקלטה, כשהברירת מחדל היא שניים. הפלט שיוצא בסוף הוא תיבת טקסט יחידה עם התמלול המלא שמחולק לפי מי שדיבר בכל קטע.

מאחורי הקלעים הקוד משלב בין וויספר לתמלול הטקסט לבין pyannote.audio לזיהוי קולות, יחד עם המודל speechbrain/spkrec-ecapa-voxceleb שמוציא מאפייני קול כדי לקבץ אותם באמצעות אלגוריתם קלאסטרינג של scikit-learn. שרשור הכלים הזה אמור לתת מענה משולב של שמיעה וחלוקה, אך אין בממשק דוגמאות מוכנות מראש לבדיקה מהירה.

מתאים ל

• תמלול שיחות מרובות משתתפים

  פיצול תמלול של פגישה או ראיון לפי שמות הדוברים, בתנאי שיודעים בדיוק כמה אנשים דיברו.

• בדיקת שילוב ספריות קוד

  למידה מתוך הסקריפט על אופן החיבור בין וויספר, פייאנוט וספיצבריין לפרויקט עצמאי.

• הרצה ותיקון מקומי

  משיכת הקוד והרצתו על מחשב אישי כדי לעקוף את שגיאת הבנייה בענן.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת במרחב שלה כרגע ומחזירה שגיאה. מעבר לזה, אתם חייבים לדעת מראש כמה אנשים מדברים בהקלטה ולהזין את המספר ידנית, כי האלגוריתם לא מנחש את כמות הדוברים לבד. אם תטעו במספר, החלוקה כולה תתעוות.

איך משתמשים

כדי להשתמש בזה צריך לבחור קובץ שמע מהמחשב, לוודא שמספר הדוברים מדויק וללחוץ על שליחה. האפליקציה נמצאת כרגע במצב של שגיאת בנייה ולא עולה בדפדפן, כך שאי אפשר להריץ אותה ישירות שם בלי לתקן את הקוד.

אם תריצו אותה בעצמכם, שימו לב שהיא הוגדרה על מעבד בסיסי בלי מאיץ גרפי. עיבוד של רשתות כמו וויספר ומודלים של שמע על חומרה כזאת דורש סבלנות ויכול לקחת דקות ארוכות גם לקבצים קצרים יחסית.

הרישיון

היוצר לא הגדיר רישיון בקוד או בעמוד הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או לשימוש חוזר בקוד, ומבחינה משפטית כל הזכויות שמורות לו.

הרישיון המלא ב־Hugging Face ↗