Whisper_speaker_diarization

מה זה

מזינים קובץ אודיו, וידאו, או קישור ליוטיוב. בצד השני מקבלים תמלול מסונכרן שמחולק לפי דוברים עם צבעים נפרדים, יחד עם קובצי כתוביות SRT או קובצי CSV להורדה. הממשק מאפשר לשמוע את ההקלטה בלחיצה על שורת תמלול ולשנות שמות דוברים ישירות בטקסט בלי להריץ שוב את העיבוד.

מאחורי הקלעים רץ שילוב של faster-whisper בגרסת large-v3 לדיוק התמלול, יחד עם מודלים של pyannote בזיהוי וחלוקת הדוברים לפי segmentation-3.0 ו־speaker-diarization-3.1. המערכת מחברת את זיהוי הקולות אל המילים, ומיישרת את החלוקה לפי זמני הדיבור.

מתאים ל

• תמלול פודקאסטים וראיונות

  הפרדת שאלות ותשובות בין מראיין למרואיין לקובץ טקסט ערוך ומסודר.

• יצירת כתוביות ליוטיוב

  הורדת אודיו ישירות מקישור והפקת קובץ כתוביות שמבדיל בין הדוברים בסרטון.

• תיעוד ישיבות מרובות משתתפים

  מעקב אחרי מי אמר מה במהלך הדיון עם אפשרות לתקן שמות ישירות בממשק.

איפה זה נופל

ההדגמה הנוכחית לא עובדת בכלל בגלל שגיאת ריצה. סרטוני יוטיוב מסוימים דורשים עוגיות גישה מיוחדות ולא יירדו באופן ישיר, מה שדורש הגדרה ידנית של קובץ עוגיות. בנוסף, pyannote דורש אישור הסכם משתמש ספציפי בעמוד המודל, ואם לא הזנתם מפתח מתאים, התהליך ייעצר מיד.

איך משתמשים

העבודה מחולקת לארבעה שלבים פשוטים במסך שמאל: בחירת מקור, הגדרות, לחיצה על כפתור התהליך, ובדיקה של התוצאות. כרגע האפליקציה במצב שגיאה ולא תרוץ ישירות בדפדפן, בעיקר כי מודל הדוברים דורש טוקן פרטי ואישור תנאי שימוש באתר Hugging Face. כדי להשתמש בה באמת צריך לשכפל אותה לחשבון שלכם ולהגדיר טוקן אישי. השרת מוגדר על חומרת T4, כך שעיבוד של קובץ ארוך ייקח כמה דקות.

הרישיון

הרישיון של הקוד לא דווח. מעבר לכך, המודלים של pyannote מחייבים אישור תנאי שימוש נפרדים ומחמירים באתר שלהם, ולכן אסור להניח שאפשר להשתמש בתוצרים לכל מטרה מסחרית בלי בדיקה של תנאי המודל.

הרישיון המלא ב־Hugging Face ↗