speechbox/whisper-speaker-diarization

מה זה

אתם מעלים קובץ קול ישירות מהמחשב או מזינים קישור לסרטון מיוטיוב, ומסמנים אם להוסיף חותמות זמן לפלט. בתמורה מקבלים תמלול של השיחה שמחולק לפי הדוברים השונים שזוהו בהקלטה.

מאחורי הקלעים הקוד מחבר שתי טכנולוגיות שונות: תמלול הדיבור נשען על המודל whisper-small של OpenAI, יחד עם שימוש ב־whisper-tiny, בזמן שהפרדת הדוברים מתבצעת באמצעות pyannote/speaker-diarization. הממשק מכיל לשוניות נפרדות להעלאת שמע ולהדבקת קישורי יוטיוב, כולל דוגמאות מוכנות מראש להרצה על סרטונים קיימים.

מתאים ל

• תמלול הקלטות מרובות דוברים

  פיצול טקסט לפי אנשים שונים מתוך קובץ שמע מקומי שנשמר במחשב.

• חילוץ טקסט מיוטיוב

  קבלת טקסט מחולק לפי דוברים ישירות מתוך כתובת של סרטון קיים.

• בדיקת שילוב ספריות

  בחינת החיבור המעשי בקוד בין מודל התמלול לספריית הזיהוי pyannote.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת ברשת כרגע בגלל שגיאת ריצה. מעבר לזה, המודל שנבחר לתמלול הוא whisper-small ולא הגרסאות הגדולות, מה שאומר שדיוק השפה, בטח בעברית, יהיה נמוך משמעותית מהמקסימום שהטכנולוגיה יודעת לתת. אם תנסו להריץ משהו בלי להעלות קובץ, הקוד יקפיץ שגיאה ישירה.

איך משתמשים

בממשק בוחרים בלשונית הרצויה, טוענים קובץ או מדביקים כתובת יוטיוב, ולוחצים על הפעולה. המערכת מוגדרת לרוץ על מעבד גרפי מסוג t4-small שאמור להחזיר תוצאות סבירות, אבל כרגע האפליקציה נמצאת במצב של שגיאת זמן ריצה ולא תעבוד בדפדפן בלי תיקון של הקוד.

הרישיון

הרישיון של המרחב לא דווח כלל במאגר. המשמעות היא שאין הגדרה ברורה לגבי שימוש מסחרי בקוד, וכל קובץ או קישור שאתם שולחים מועבר דרך השרתים הציבוריים של השירות.

הרישיון המלא ב־Hugging Face ↗