whisper-word-level-trim
רץ בדפדפןradamesרישיון לא דווח2023-06-23
חותכים וידאו לפי מילים ספציפיות מתוך התמלול במקום להסתבך עם ציר זמן. זה מיועד למי שרוצה לגזור קטעים מדויקים מסרטון בלי לעבוד עם תוכנת עריכה כבדה.
- —הורדות בחודש
- 76לייקים
מה זה
מעלים קובץ וידאו ומקבלים את הטקסט המתוזמן ברמת המילה, שממנו בוחרים בדיוק אילו מילים יישארו ואילו ייחתכו החוצה. בסוף התהליך מקבלים קובץ וידאו חדש עם החלקים שסומנו בלבד.
מאחורי הקלעים רץ תמלול של Whisper מבית OpenAI בגרסאות tiny, base או small, יחד עם צינור העיבוד של Hugging Face ופקודות ffmpeg שמבצעות את החיתוך בפועל. בדוגמאות המובנות אפשר לראות סרטונים מוכנים מראש כמו קטע מפורסם של שיה לה-באף, שיחה של צוקרברג ויובל נח הררי, וסרטון בישול.
מתאים ל
- גזירת משפטים מהירה
מסמנים משפט מתוך הראיון של הררי וצוקרברג ומקבלים מיד קובץ וידאו שכולל רק אותו.
- ניקוי שתיקות ומילים
מורידים מילים מיותרות מסרטון דיבור פשוט על ידי ביטול הבחירה שלהן בטקסט.
- הכנת ממים וקליפים
גוזרים קריאה קצרה מסרטון כמו זה של שיה לה-באף ישירות לפי חיתוך המילה.
איפה זה נופל
הבעיה המיידית היא שההדגמה שבורה ולא פועלת כרגע בגלל תקלת ריצה. מעבר לזה, השימוש בגרסאות הקטנות של המודל כמו tiny או base אומר שרמת הדיוק בתזמון המילים ובעברית תהיה נמוכה משמעותית בהשוואה לגרסאות הגדולות. כדאי לזכור שחיתוך ffmpeg שמבוסס על מילים בודדות עלול לייצר מעברים קופצניים ומקוטעים בסאונד ובווידאו.
שאלות
נפוצות
האם השירות פתוח לשימוש בחינם?
העמוד ב־Gradio פתוח לכולם ללא עלות, אך כרגע הוא נמצא במצב שגיאה ולא מגיב. אם היוצר יתקן את השרת, הגישה תישאר חינמית.
כמה זמן לוקח לחתוך סרטון?
העיבוד מבוסס על מעבד משודרג ללא כרטיס מסך, כך שתמלול סרטון ארוך ייקח זמן מה. הדוגמאות המוכנות מראש נשמרות במטמון ולכן עולות מיד.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד מבוסס על ספריות פתוחות של פייתון, ffmpeg וטרנספורמרס. מכיוון שהעמוד שבור כרגע, זו הדרך היחידה להשתמש ברעיון בעצמכם.
במה זה שונה משימוש רגיל ב־Whisper?
וויספר רק ממיר דיבור לטקסט ונותן זמנים, הוא לא עורך וידאו. הכלי הזה מחבר את התזמונים של וויספר ישירות לפקודות חיתוך של ffmpeg.
איך משתמשים
טוענים וידאו מהמחשב או בוחרים באחת הדוגמאות, מסמנים מילים ישירות מתוך הטקסט עם HighlightedText, או משתמשים בכפתורי הבחירה הגורפת, ולוחצים על Cut Video. העיבוד רץ על מעבד מסוג cpu-upgrade ללא כרטיס מסך ייעודי, אבל כרגע האפליקציה נמצאת במצב שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להריץ אותה ישירות בדפדפן בלי לתקן את הקוד.
הרישיון
הרישיון של הפרויקט לא דווח כלל במאגר. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לפרויקטים מסחריים או להסתמך על זכויות השימוש בתוצרים, ומבחינה משפטית הקוד מוגן כברירת מחדל אצל היוצר.