whisper-jax-diarization
רץ בדפדפןsanchit-gandhiרישיון לא דווח2023-07-24
הכלי מציע תמלול מהיר והפרדה בין דוברים שונים בהקלטות קול, ומיועד למי שרוצה לתמלל פגישות בלי להפריד ידנית מי אמר מה.
- —הורדות בחודש
- 174לייקים
מה זה
אתם מעלים קובץ שמע, מקליטים ישירות מהמיקרופון או מדביקים קישור לסרטון יוטיוב. בתמורה, מקבלים טקסט מתומלל עם חלוקה לפי דוברים, כשניתן לבחור בין תמלול ישיר לבין תרגום, וכן לסמן אם לקבץ את הטקסט לפי הדובר.
מתחת למכסה המנוע יש שילוב של שתי מערכות שרצות במקביל. התמלול נשלח לנקודת קצה חיצונית של Whisper JAX, בזמן שעל השרת המקומי רץ המודל pyannote speaker diarization שמזהה מתי כל אדם דיבר. בסיום, חותמות הזמן של הדוברים מוצלבות עם מילות התמלול כדי לייצר פלט אחד מסודר.
מתאים ל
- תמלול פגישות מרובות משתתפים
מעלים הקלטת שמע כדי לקבל טקסט שמסודר לפי הדוברים השונים.
- הוצאת טקסט מסרטוני יוטיוב
מדביקים קישור לווידאו ומקבלים תמלול או תרגום מופרד לדוברים.
- הקלטה ישירה מהדפדפן
משתמשים במיקרופון כדי להקליט שיחה קצרה ולקבל חלוקת דוברים במקום.
איפה זה נופל
נכון לעכשיו העמוד נמצא במצב של שגיאת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן בלי שהיוצר יתקן את התקלה. בנוסף, ההפרדה בין דוברים מתבצעת מקומית דרך ספריית pyannote, כך שהיא תלויה בטוקן גישה ועלולה להיכשל אם החיבור החיצוני לשרת התמלול לא זמין.
שאלות
נפוצות
האם הכלי עובד כרגע בדפדפן?
לא, הממשק מדווח כרגע על שגיאת ריצה בעלייה. כדי להשתמש בו צריך להמתין לעדכון מצד המפתח או להריץ את הקוד עצמאית.
האם השימוש עולה כסף?
לא, העמוד פתוח לשימוש חופשי ללא תשלום. אין צורך להזין פרטי אשראי או לבחור מסלול בתשלום.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות פתוחות כמו pyannote וחיבור לשרת Whisper JAX. להרצה עצמאית נדרש טוקן גישה מתאים למודל הזיהוי והגדרת סביבת פייתון.
במה זה שונה משימוש רגיל ב־Whisper?
דגמי Whisper הרגילים מתמללים את המילים ברצף אבל לא מזהים מי דיבר. הממשק הזה מחבר את התמלול למודל נפרד שמבדיל בין קולות שונים ומצמיד לכל קטע את הדובר המתאים.
איך משתמשים
בפועל בוחרים לשונית לפי סוג הקלט, טוענים את ההקלטה או מזינים קישור, ולוחצים להרצה. הממשק רץ על חומרת t4-small, כך שזיהוי הדוברים המקומי מוגבל בכוח עיבוד צנוע יחסית, בזמן שהתמלול של Whisper נשען על שרת מרוחק. עם זאת, אין צורך להירשם או לשלם כדי לנסות את הממשק.
הרישיון
הרישיון של הקוד לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי, וכל קובץ או קישור שאתם מעלים מועבר דרך השרתים שמריצים את הממשק ואת נקודת הקצה החיצונית.