Llava-Video

מה זה

העיקרון פשוט מאוד. אתם מעלים סרטון לתוך נגן הווידאו בממשק, מקלידים שאלה בשדה הטקסט שלמטה, ולוחצים על הכפתור כדי להפעיל את הניתוח. המערכת מחזירה תשובה מילולית בתיבת הפלט, שמנסה לתאר את מה שרואים על המסך, לענות על שאלות לגבי התרחשויות ספציפיות, או להסביר את ההקשר של הסצנה.

מאחורי הקלעים הקוד מתבסס על ארכיטקטורת LLaVA Video ומודלים ממשפחת Qwen2, בעיקר גרסת 7B שאומנה על מאגר של 178 אלף סרטונים לצד נתוני OneVision, עם חלון הקשר שמגיע עד 32 אלף תומכנים. הקוד גם מצביע על מודלים כבדים בהרבה כמו גרסאות 32B ו־72B. כדי לפענח את התוכן הוויזואלי, הוא משתמש בספריית decord כדי לחתוך פריימים מתוך הקובץ, להמיר אותם לפורמט שהמודל מסוגל לקרוא, ולחבר אותם יחד עם שאלת הטקסט לתוך שרשרת ההסקה.

מתאים ל

• שאילתות על סרטונים

  העלאת קטע וידאו ושאלת שאלות ישירות על מה שרואים בו או על פעולות של דמויות.

• הבנת התרחשויות בסצנה

  קבלת תיאור מילולי של פעולות מורכבות או אירועים שמתרחשים לאורך הסרטון.

• בדיקת יכולות המודל

  השוואת איכות התשובות של מודלי LLaVA מול מודלים רב מודליים אחרים.

איפה זה נופל

הבעיה הגדולה ביותר היא שהאפליקציה פשוט שבורה כרגע. מעבר לזה, הדגמות כאלה עלולות להטעות לגבי ביצועי המודלים האמיתיים. ניתוח וידאו דורש זיכרון גרפי עצום, ודחיסת הפריימים שנעשית בקוד עלולה לגרום למודל לפספס פרטים עדינים או אירועים קצרים. אל תבנו על הכלי הזה לניתוח סרטונים ארוכים או מורכבים לפני שאתם בודקים אותו על תשתית ייעודית שעובדת.

איך משתמשים

בפועל אין כרגע דרך להריץ כאן כלום. המרחב תקוע בשגיאת הרצה, והוא מוגדר על חומרת מעבד בסיסית בלבד ללא מאיץ גרפי. גם אם המתכנת יתקן את קריסת הקוד, מודלי וידאו של שבעה מיליארד פרמטרים ומעלה פשוט לא מסוגלים לרוץ בזמן סביר על מעבד רגיל. כרגע העמוד נטען בדפדפן, אך כל ניסיון שליחה יסתיים בשגיאה ולא יחזיר תשובה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמתיר שימוש חופשי כמעט לכל מטרה, כולל עריכה והרצה עצמאית. כל קובץ וידאו שאתם מעלים מועבר לשרתי הוסטינג ציבוריים, ולכן לא מומלץ להעלות חומרים פרטיים, מסמכים רגישים או מידע אישי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗