mage-vl-demo

מה זה

אתם מעלים תמונה או קובץ וידאו, שואלים שאלה טקסטואלית, ומקבלים תשובה מפורטת לצד נתונים על כמות הטוקנים שנוצרו. יש כאן שלוש לשוניות עבודה: ניתוח תמונה בודדת, שאלות על וידאו, ומצב שידור חי יזום שמגיב לבד רק כשקורה אירוע משמעותי. בדוגמאות המוכנות יש תמונת כלב לתיאור פרטים וסרטון של שידור כדורגל שבו המודל מזהה את תוצאת המשחק והקבוצות.

במקום לחתוך וידאו לפריימים שלמים בקצב אחיד, המודל מתבסס על מבנה המקודד. הוא שומר את כל המידע מפריימי המפתח, אך מפריימים של תנועה הוא לוקח רק את האזורים שבהם המקודד משקיע ביטים. המקטעים האלה נארזים לתוך משטחים ייעודיים, מה שמקצץ מעל שבעים וחמישה אחוזים מטוקני הראייה. מתחת למכסה רץ מעבד תמונה ייעודי לצד מפענח שפה מסוג Qwen3-4B-Instruct-2507.

מתאים ל

• ניתוח שידורי ספורט

  חילוץ תוצאות משחק, זיהוי קבוצות ואירועים מתוך סרטוני משחקים בלי לחתוך פריימים ידנית.

• השוואת ביצועי מקודד

  בדיקת ההבדל בכמות הטוקנים ובאיכות המענה בין דגימת פריימים רגילה לבין שימוש במקודד וידאו.

• מענה אוטומטי מבוסס אירועים

  הפעלת מנגנון שמזהה תנועה ואירועים חריגים ברצף וידאו ומייצר תגובה רק כשמשהו מתרחש.

איפה זה נופל

זהו מודל של ארבעה מיליארד פרמטרים בלבד, ולכן הוא לא יחליף מודלי ענק בניתוחים לוגיים עמוקים. הממשק מיועד לניסוי ובדיקה ולא לעיבוד קבצים ארוכים של שעות. במצב הזרמה יזומה מנגנון הסינון תלוי ברף רגישות שקובעים בסליידר, ואם הרף לא מכויל נכון הוא עשוי לפספס אירועים או לדווח על דברים שוליים.

איך משתמשים

גוררים תמונה או וידאו, כותבים שאלה ולוחצים על הכפתור הראשי. בווידאו אפשר לבחור בין פענוח מקודד ישיר לבין דגימת פריימים רגילה כדי להשוות תוצאות, ויש גם הגדרות מתקדמות לכמות הטוקנים ואורך המקטעים. הממשק רץ על חומרת zero-a10g שמקצה מעבד גרפי בזמן אמת, כך שווידאו כבד עלול לקחת מעט זמן אם יש תור בשרת, אך הדוגמאות השמורות מראש מחזירות מענה מיידי.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0 שמתיר שימוש חופשי ושינוי קוד, כולל יישומים מסחריים. הקבצים והשאלות שאתם מעלים עוברים עיבוד ישירות על השרת המארח של ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗