whisper_word_timestamps

מה זה

אתם מעלים קובץ קול ובוחרים את שפת הדיבור מתוך רשימה. במקום לקבל קובץ טקסט פשוט, הפלט שחוזר הוא קובץ וידאו שמרכיב את המילים על המסך בזמן אמת בעזרת MoviePy וספריית התמונות PIL.

מאחורי הקלעים רצים המודלים הזעירים של OpenAI, ספציפית Tiny, Base ו־Small, דרך Hugging Face Transformers עם עיבוד חצי דיוק על גבי כרטיס המסך. הדוגמאות המובנות מציגות קטעי דיבור מפורסמים באנגלית כמו נאום של סטיב ג'ובס או הנרי החמישי, וקטע אחד בהולנדית של יוהאן קרויף.

מתאים ל

• בדיקת תזמון מילים

  הערכה מהירה של יכולת המודל לסנכרן מילים מדויקות לשמע קצר.

• הפקת וידאו עם טקסט

  יצירה ישירה של סרטון שמציג כתוביות מתחלפות לפי קצב הדיבור.

• בחינת מודלים קטנים

  בדיקת הביצועים של גרסאות Tiny ו־Base מול שפות שונות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט מרוסקת כרגע עם הודעת RUNTIME_ERROR. מעבר לזה, השימוש במודלים הקטנים ביותר כמו Tiny ו־Base פוגע מאוד בדיוק, בייחוד בשפות שאינן אנגלית כמו עברית. בנוסף, הכלי מוציא וידאו בלבד ולא קובץ כתוביות סטנדרטי לעריכה, כך שאין דרך לייצא מכאן SRT או VTT.

איך משתמשים

בממשק פשוט גוררים קובץ שמע, בוחרים שפה ולוחצים להרצה. החומרה שהוגדרה להרצה היא T4-small של אנבידיה, מה שמאפשר עיבוד סביר של כמה שניות עד דקות בודדות. עם זאת, נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה, כך שהממשק פשוט לא יעבוד בדפדפן עד שהמפתח יתקן את הקוד.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים, בכפוף למתן קרדיט ושמירה על תנאי הרישיון המקורי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗