Video-LLaMA

מה זה

הממשק מקבל קובץ וידאו או תמונה יחד עם שאלות טקסט חופשיות. בצד המודל, המערכת מחברת בין משפחת Video-LLaMA-Series לבין רכיבי ראייה של baaivision/EVA, ארכיטקטורת MiniGPT-4, ומודלי BERT של גוגל בשתי גרסאות לצורכי עיבוד הטקסט. יש גם תיבת סימון ספציפית לשמע, שנועדה לאפשר ניתוח של פס הקול במקביל לפריימים.

הדוגמאות המוכנות כוללות תמונות סטילס כמו זיהוי גזע של כלב, דמות מסדרה או פסל החירות, וסרטונים קצרים של כלב על סקייטבורד, חגיגת יום הולדת וזיהוי של איירון מן. הפלט מתקבל כהודעות טקסט בחלון שיחה רגיל.

מתאים ל

• ניתוח תוכן של סרטון

  מעלים סרטון קצר ושואלים על הפעולות שמתרחשות בו או על זיהוי דמויות ואובייקטים בפריימים.

• תשאול תמונות סטילס

  מעלים תמונה ומבקשים זיהוי של מבנים מוכרים, אנשים או גזעים של בעלי חיים בפורמט שיחה.

• בדיקת שילוב אודיו ווידאו

  מפעילים את תיבת השמע כדי לבדוק תגובות לפס קול שמתלווה לסרטון, לצד המידע הוויזואלי.

איפה זה נופל

הבעיה המיידית היא הסטטוס הטכני: האפליקציה קרסה ולא מגיבה, כך שאין אפשרות לבדוק אותה כרגע בלי להרים אותה מחדש בעצמכם. מעבר לכך, הממשק מוגבל לקלט בודד בכל פעם, סרטון אחד או תמונה אחת בלבד, ולא תומך בהשוואות. לגבי עברית, המודלים שנשענים על BERT באנגלית ו־MiniGPT-4 מיועדים בעיקר לאנגלית, ולא כדאי לבנות על הבנה מדויקת של פרומפטים בעברית.

איך משתמשים

כדי להתחיל, מעלים קובץ לממשק או בוחרים באחת הדוגמאות, ולוחצים על Upload & Start Chat. רק אחרי הטעינה תיבת הטקסט נפתחת להקלדה של שאלות. אפשר לכוונן ידנית ערכי temperature ו־num_beams, ולסמן אם לכלול אודיו בניתוח. הקוד מוגדר לרוץ על מעבד גרפי מסוג a10g-large, אבל כרגע הדף מדווח על שגיאת זמן ריצה (RUNTIME_ERROR), כך שאי אפשר להריץ עליו שאילתות בפועל ישירות מהדפדפן.

הרישיון

הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר כמו MIT או Apache. תנאי השימוש המדויקים, מסחריים או פרטיים, וכן הזכויות על המידע שמועלה או מופק, אינם מפורטים בחומר המוצג. מומלץ לבדוק את תנאי המיזם המקורי לפני שמעלים קבצים רגישים.

הרישיון המלא ב־Hugging Face ↗