Video-LLaVA — הדגמה

מה זה

ממשק השיחה מאפשר להעלות קובץ וידאו או תמונה סטטית, לכתוב שאלות בתיבת טקסט ולקבל תשובות מפורטות על מה שקורה בפריים. בצד הדוגמאות יש סרטונים קצרים ותמונות מוכנות כמו גיהוץ אקסטרים או נופי מדבר ומים, שנועדו לבדוק זיהוי פעולות ותיאור סצנות מורכבות.

מתחת למכסה המנוע רצים מודלים שמשלבים ראייה ממוחשבת ושפה, ובראשם Video-LLaVA-7B יחד עם רכיבי LanguageBind_Image, רשתות CLIP של OpenAI ומודלים ממשפחת OPT ו־BLIP2. השילוב הזה מפרק את הווידאו לפריימים בעזרת ספריית decord, מחבר בין המידע החזותי לטקסט, ומייצר תיאור מילוני של התוכן.

מתאים ל

• שאלות על תוכן בווידאו

  מעלים קטע וידאו קצר ושואלים מה קורה בו או אילו פעולות הדמויות מבצעות.

• תיאור תמונות מורכבות

  טוענים תמונה ומבקשים ניתוח מילולי מפורט של הסצנה והאלמנטים שמופיעים בה.

• בדיקת יכולות המודל

  מריצים את דוגמאות הקוד המובנות כדי להעריך את דיוק זיהוי התנועה וההקשר החזותי.

איפה זה נופל

הבעיה המיידית היא טכנית לחלוטין. האפליקציה נמצאת במצב שגיאת זמן ריצה ולכן אינה מגיבה כלל. מעבר לכך, עיבוד וידאו מלא על חומרה כזו מוגבל לרוב לקטעים קצרים מאוד של כמה שניות, ולא לסרטים ארוכים. ניתוח רצף תנועה מהיר נוטה לפספס פרטים קטנים בהשוואה לתמונות סטטיות.

איך משתמשים

טוענים את קובץ המדיה לעמודה השמאלית, מקלידים שאלה בתיבת השיחה ולוחצים על כפתור השליחה כדי לקבל מענה מהצ'אטבוט. אפשר גם ללחוץ על אחת הדוגמאות המוכנות כדי לטעון אותן מיד בלי להעלות קבצים מהמחשב.

ההדגמה מוגדרת לרוץ על מאיץ גרפי a10g-small שאמור לספק תשובות תוך שניות בודדות, אבל בפועל הממשק נמצא במצב שגיאת ריצה. כרגע אי אפשר להריץ בו שאילתות בדפדפן עד שהמפתחים יתקנו את התקלה בקוד, וכל ניסיון אינטראקציה פשוט לא יעבוד.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי ושינוי קוד. הקבצים שאתם מעלים עוברים דרך השרת שמארח את ההדגמה, ולכן לא מומלץ להעלות חומרים פרטיים או רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗