video-classification

מה זה

אתם מעלים קובץ וידאו או מדביקים כתובת של סרטון מיוטיוב, ובוחרים מודל מתוך רשימה נפתחת. הפלט מציג תצוגה מקדימה של הסרטון ולצידה תוויות סיווג עם רמות הסתברות לפעולה שנצפתה בו.

מאחורי הממשק רצים מודלים מסוג TimeSformer של פייסבוק ושל יוצר המרחב, שכוללים גרסאות בסיס, רזולוציה גבוהה וגרסאות גדולות. המודלים אומנו על מאגרי פעולות מוכרים כמו Kinetics ו־Something-Something V2, והממשק כולל דוגמאות מובנות שנשמרו מראש כדי להציג את התוצאות בלי להמתין לעיבוד מלא.

מתאים ל

• בדיקת פעולות בסרטון

  זיהוי אוטומטי של פעולות אנושיות בסיסיות מתוך קובץ וידאו קצר.

• ניתוח ישיר מיוטיוב

  הזנת קישור ליוטיוב כדי לבדוק איך המודל מסווג את התוכן ללא הורדת הקובץ.

• השוואת מודלי ראייה

  בדיקת ההבדלים בזיהוי בין גרסאות שונות של TimeSformer על אותו הקטע.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה מדווחת כרגע על שגיאת ריצה, ולכן אי אפשר להריץ אותה בדפדפן בלי לתקן את הקוד או להרים עותק משלכם. בנוסף, מודלים של TimeSformer מוגבלים לסוגי הפעולות שעליהם הם אומנו במאגרים המקוריים, כך שהם לא יודעים לזהות כל התנהגות חופשית או להבין הקשר מורכב מעבר לתנועה ספציפית.

איך משתמשים

בפועל, בוחרים מודל, מזינים קישור או גוררים קובץ, ולוחצים על כפתור התחזית. אין צורך בהתחברות או תשלום כדי להשתמש בממשק.

עם זאת, המרחב מוגדר על חומרת מעבד בסיסית וכרגע נמצא במצב של שגיאת ריצה. כשהוא כן עולה, עיבוד וידאו כבד על מעבד כזה לוקח זמן מורגש, בייחוד בדגמים הגדולים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והרצה מסחרית בכפוף לתנאי הרישיון. המידע והסרטונים שאתם מזינים מעובדים ישירות מול המודל בממשק ואינם מקבלים הגנה מיוחדת מעבר למה שקיים בפלטפורמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗