SmolVLM2-HighlightGenerator

מה זה

אתם מעלים קובץ וידאו, והמערכת מחזירה סרטון ערוך של רגעי השיא לצד פירוט טקסטואלי של תהליך הניתוח. הממשק חושף את תיאור הווידאו שהופק ואת סוגי ההיילייטס שנבחרו לחיפוש, כך שאפשר לראות את שרשרת החשיבה שמאחורי הבחירה של כל קטע.

מאחורי הקלעים רץ המודל SmolVLM2-2.2B-Instruct של HuggingFaceTB, שמנתח תמונה וטקסט יחד. הוא מייצר תיאור לסרטון, מגדיר מתוכו מה נחשב רגע מעניין, ולאחר מכן בודק קטעים שונים כדי להחליט אם הם תואמים לפעולות המרכזיות שהוגדרו. בממשק מוצגות גם דוגמאות מובנות של סרטוני מקור לצד תוצאות מעובדות ופירוט הניתוח שלהן.

מתאים ל

• חיתוך תקצירי וידאו

  זיהוי אוטומטי של פעולות מרכזיות בסרטון והרכבת קליפ מקוצר עם רגעי השיא.

• בדיקת המודל SmolVLM2

  בחינת יכולות הניתוח של מודל ראייה קטן על סרטונים לפני שמשלבים אותו בפיתוח.

• הפקת תיאור טקסטואלי לווידאו

  חילוץ תיאור מילוני של המתרחש בקובץ וקבלת הסברים על הבחירה בכל קטע.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה שבורה כרגע במצב BUILD_ERROR ולא מעבדת קבצים. מעבר לכך, המודל שרץ ברקע שוקל 2.2 מיליארד פרמטרים, גודל קומפקטי שמספיק לזיהוי פעולות בסיסיות אבל עלול לפספס אירועים מורכבים או הקשרים עדינים בתוך הווידאו.

איך משתמשים

גוררים סרטון לנגן הקלט ולוחצים על Process Video. העיבוד מוגדר לרוץ על חומרת a100-large דרך spaces, כך שהניתוח עצמו אמור להיות מהיר יחסית לסרטונים קצרים, אך כרגע היישום נמצא במצב BUILD_ERROR ולכן אי אפשר להריץ אותו ישירות בדפדפן עד שיועלה תיקון לקוד.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. לגבי הסרטונים שאתם מעלים, התוכן מעובד בשרתי Hugging Face ולכן לא מומלץ להעלות חומרים פרטיים או רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗