VideoMind-2B

מה זה

מעלים קובץ וידאו וכותבים הנחיה טקסטואלית, למשל שאלה על סיבה לתוצאה בסרטון או בקשה למצוא מקטע זמן מוגדר. התוצאה מופיעה בצורת צ'אט עם מענה לשאלה או סימון זמנים של ההתרחשות הרלוונטית.

מתחת למכסה המנוע רץ המודל Qwen2-VL-2B-Instruct כמודל בסיס, בשילוב מתאמי LoRA ייעודיים של פרויקט VideoMind-2B. הארכיטקטורה עובדת בשרשרת תפקידים שניתן לבחור בממשק, תכנון (Planner), איתור זמנים (Grounder), אימות (Verifier) ומענה (Answerer), כאשר כל שלב מתבסס על מתאם מותאם שנטען לקוד.

הדוגמאות המוכנות כוללות שאלות מורכבות על פעולות של אנשים, ילדים או ציוד מכני, לצד משימות של איתור מקטעים חזותיים סביב תיאור קצר כמו עבודה בשוק או מטוס שממריא.

מתאים ל

• איתור אירועים לפי זמן

  מציאת מקטע מדויק בתוך סרטון לפי תיאור פעולה מילולי, כמו המראת מטוס או חיתוך מוצרים.

• מענה לשאלות על וידאו

  הבנת רצף אירועים ומתן תשובה לגבי סיבות לפעולות של דמויות המופיעות בסרטון.

• בדיקת שרשראות LoRA

  בחינה מעשית של השפעת תפקידי התכנון, האיתור והאימות על איכות ההסקה הוויזואלית.

איפה זה נופל

חייבים להקפיד על לוגיקת התפקידים. אי אפשר להפעיל את המאמת בלי המאתר, והמתכנן דורש את שניהם יחד, אחרת המערכת מקפיצה אזהרה. בנוסף, מודל של שני מיליארד פרמטרים עלול לפספס פרטים עדינים בסרטונים עמוסים או להחזיר תחימת זמנים לא מדויקת. ההדגמות שמגיעות עם האפליקציה נבחרו מראש ומציגות תוצאות מיטביות שלא בהכרח ישקפו כל סרטון שתעלו.

איך משתמשים

טוענים וידאו או משתמשים בכפתור Random לבחירת דוגמה, מקלידים שאלה ובוחרים את תפקידי המודל הרצויים. אפשר לכוונן בהגדרות המתקדמות את הטמפרטורה, כמות הטוקנים וכמות המועמדים לבדיקה, ואז לוחצים על Submit.

ההדגמה מוגדרת על מעבד בסיסי (cpu-basic) ומשתמשת במודול spaces. מכיוון שמדובר בעיבוד וידאו עם רשתות נוירונים על מעבד או הקצאת חומרה משותפת, זמני התגובה עשויים להיות איטיים יחסית.

הרישיון

הקוד והפרויקט מפורסמים תחת רישיון bsd-3-clause, שמתיר שימוש, הפצה ושינוי כולל לצרכים מסחריים, בכפוף לשמירה על הודעת זכויות היוצרים. החומרים והסרטונים שאתם מעלים מועברים לשרתי Hugging Face לצורך עיבוד ואינם נשמרים כנכס פומבי לפי נתוני הקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗