soft-video-understanding
רץ בדפדפןfffiloniרישיון לא דווח2024-03-05
הכלי מנתח סרטוני וידאו קצרים ומייצר מהם תיאור טקסטואלי תמציתי. הוא מיועד למי שרוצה להבין מה קורה בקובץ וידאו בלי לצפות בו ישירות.
- —הורדות בחודש
- 64לייקים
מה זה
אתם מעלים קובץ וידאו, מקבלים גרסה שלו שחתוכה לעשר שניות, ותיבת טקסט עם סיכום קצר של המתרחש. בממשק יש שלוש דוגמאות מוכנות מראש לבדיקה, הכוללות סרטון של רכבת, גורי כלבים וצב.
מאחורי הקלעים אין כאן מודל וידאו מקורי שרואה את הסרט ברצף. הקוד חותך את הווידאו לרצף פריימים בודדים בזמנים קבועים, מוציא את פס הקול, ושולח את התמונות למודל הראייה moondream2 כדי שיכתוב תיאור לכל פריים. בנוסף מופק תיאור של אירועי השמע.
את כל התיאורים הנפרדים האלה יחד מרכזים לתוך פרומפט יחיד, ואז מודל השפה Zephyr 7B Beta מחבר את המידע ומנסח פסקה קצרה שמסבירה מה קרה בסרטון כולו.
מתאים ל
- תיוג סרטונים קצרים
יצירת תקציר טקסטואלי מהיר באנגלית לקטעי וידאו של עד עשר שניות.
- הבנת שילוב מודלים
בדיקת הרעיון של פירוק וידאו לפריימים עם moondream2 וסיכום ב־Zephyr.
- חילוץ תיאור מבוסס קול ותמונה
קבלת תמונת מצב כללית המשלבת בין רצף ויזואלי לרקע האודיו של הקובץ.
איפה זה נופל
האפליקציה חותכת כל קובץ לעשר שניות בלבד, כך שאי אפשר לקבל ניתוח לסרטונים ארוכים. המודל לא מבין תנועה אמיתית אלא מנחש את ההקשר מתוך תמונות בודדות וצלילים, ולכן תנועות עדינות או עלילה מורכבת עלולות להתפספס לחלוטין. גם העברית כאן תהיה בעייתית כי הפרומפט והמודלים מוגדרים לעבודה באנגלית.
שאלות
נפוצות
למה האפליקציה לא מגיבה כרגע?
המרחב מוגדר כרגע במצב PAUSED על ידי היוצר שלו. המשמעות היא שהשרת שמחזיק את החומרה כבוי, ואי אפשר להריץ סרטונים בלי להפעיל אותו מחדש או לשכפל את המרחב לחשבון פרטי.
האם אפשר להעלות סרטון ארוך?
לא, הקוד חותך אוטומטית כל וידאו לעשר השניות הראשונות בלבד. הוא מיועד לבדיקה נקודתית של קטעים קצרים מאוד ולא לסרטים או הרצאות.
במה זה שונה ממודל וידאו רגיל?
אין כאן מודל וידאו אמיתי. המערכת מחלצת תמונות סטילס, מתארת כל אחת בנפרד בעזרת מודל ראייה, ונותנת למודל טקסט לנסות להבין מה הקשר ביניהן.
אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריות פתוחות כמו transformers, gradio ו־moviepy, ומשתמש במודלים פתוחים. תצטרכו כרטיס מסך שיכול להחזיק את Zephyr 7B יחד עם moondream2.
איך משתמשים
לוחצים על העלאת וידאו או בוחרים באחת הדוגמאות, ולוחצים על Submit. התהליך כולל חילוץ פריימים, יצירת כתוביות לכל תמונה, ניתוח אודיו ועיבוד טקסט סופי ב־LLM, כך שיש כאן שרשרת פעולות שלוקחת זמן. כרגע הגישה הישירה בדפדפן חסומה כי המרחב במצב PAUSED, למרות שהוא מוגדר לחומרת a10g-large. כדי להפעיל אותו בפועל תצטרכו להעיר אותו או לשכפל לעצמכם.
הרישיון
היוצר לא דיווח על רישיון לתוכנה עצמה. במצב כזה אין הרשאה משפטית ברורה לשימוש מסחרי בקוד, וכל מה שמעלים או מריצים שם כפוף לתנאי השימוש הרגילים של שרתי Hugging Face.