VideoMamba

מה זה

הממשק מחולק לשתי לשוניות נפרדות, אחת לווידאו ואחת לתמונות סטילס. בווידאו מעלים קובץ ומקבלים את חמש הקטגוריות המובילות מתוך מאגר Kinetics-400, כמו חבטת בייסבול, יוגה או רכיבה על הוברבורד, עם ציון הסתברות לכל קטגוריה. בלשונית התמונות מעלים קובץ ומקבלים סיווג מחמש מחלקות מובילות ממאגר ImageNet-1K, כגון חתול, כלב או פנדה.

מאחורי הקלעים רצים שני מודלים קטנים מסוג tiny ברזולוציה של 224 על 224 פיקסלים. מודל הווידאו דוגם 16 פריימים מתוך הקובץ באמצעות ספריית decord, ומודל התמונה מעבד תמונת PIL רגילה. הטכניקה מבוססת על מודל המצבים Mamba שהותאם לוויז'ואל, חלופה לטרנספורמרים שמטרתה לייעל את הניתוח הרציף של פריימים.

מתאים ל

• סיווג פעולות בווידאו קצר

  זיהוי אוטומטי של פעילות ספורטיבית או תנועה מתוך קובץ וידאו לפי קטגוריות Kinetics-400.

• זיהוי עצמים בתמונות

  קבלת חמש התוויות הסבירות ביותר מתוך ImageNet עבור תמונת סטילס בודדת.

• בדיקת ארכיטקטורת Mamba

  השוואת ביצועי מודל מבוסס state space מול מודלי ראייה מבוססי טרנספורמר.

איפה זה נופל

המודלים בממשק הם גרסאות tiny בלבד ברזולוציית 224 על 224, כך שפרטים קטנים או איכות גבוהה הולכים לאיבוד בעיבוד. התוצאה היא תווית סיווג בלבד מתוך רשימות סגורות של 400 פעולות או 1,000 עצמים, בלי תיאור טקסט חופשי, זיהוי מקומי של אובייקטים או מעקב בזמן. בנוסף, שגיאת התצורה הנוכחית משביתה את הממשק לחלוטין.

איך משתמשים

בוחרים בלשונית הרצויה, מעלים קובץ מהמחשב או מקליקים על אחת הדוגמאות המוכנות, ולוחצים על Submit. הדוגמאות המובנות נשמרו מראש במטמון ולכן מוצגות מיד, אבל עיבוד קובץ חדש אמור לרוץ על מאיץ מסוג zero-a10g. נכון לעכשיו העמוד מסומן במצב CONFIG_ERROR, כך שאי אפשר להריץ אותו ישירות בדפדפן בלי תיקון ההגדרה בשרת.

הרישיון

הפרויקט מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הקוד והמשקולות. הקבצים שאתם מעלים מועברים לעיבוד בתשתית הענן של Hugging Face, ואין בתיעוד פירוט מעבר לתנאי השימוש הרגילים שם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗