zero-shot-video-classification

מה זה

אתם מספקים סרטון וידאו, דרך קישור ליוטיוב או בהעלאת קובץ מקומי, ומקלידים רשימת תוויות טקסט שמעניינות אתכם. בתמורה מקבלים תצוגה מקדימה של הסרטון ורשימת הסתברויות שמדרגת איזו תווית הכי מתאימה למה שקורה בו.

מאחורי הקלעים רצים מודלים ממשפחת X-CLIP של מיקרוסופט, ובראשם גרסת הבסיס לזירו שוט. הממשק מאפשר לבחור בין מספר גרסאות שונות של המודל, חלקן עברו התאמות על מאגרי נתונים מוכרים כמו Kinetics או UCF. לפי הקוד, יש בממשק גם דוגמאות מוכנות מראש שנטענות עם תוצאות שמורות.

מתאים ל

• סיווג תוכן ללא אימון

  זיהוי פעולות בתוך קטע וידאו על בסיס שמות תיאוריים בלבד וללא צורך בהגדרת קטגוריות קבועות מראש.

• השוואת גרסאות מודל

  בדיקת ההבדלים בדיוק בין גרסאות שונות של ארכיטקטורת X-CLIP על אותו סרטון נתון.

• ניתוח ישיר של יוטיוב

  בדיקת תוויות על סרטון רשת ציבורי באמצעות הזנת כתובת אינטרנט ישירה בלי להוריד את הקובץ.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב תקלה ולא עובדת כרגע בדפדפן. בנוסף, חומרת הריצה המוגדרת היא מעבד חלש בלי מאיץ גרפי, כך שעיבוד וידאו מלא צפוי להיות אטי במיוחד. אם בונים על סרטונים ארוכים או כבדים, עדיף לא להסתמך על הדגמת רשת כזו ולבדוק את הקוד ישירות.

איך משתמשים

בוחרים מודל מתוך הרשימה הנגללת, מזינים קישור מיוטיוב או קובץ, מקלידים תוויות ולוחצים על כפתור התחזית. אין דרישה לחשבון או כניסה כדי להשתמש. עם זאת, השרת מוגדר על מעבד בסיסי בלבד, וכרגע הסטטוס המדווח שלו הוא שגיאת ריצה, כך שבפועל אי אפשר להריץ בו בדיקות בדפדפן בלי שהתקלה תתוקן.

הרישיון

הפרויקט מפורסם תחת רישיון אפאצ'י שתיים אפס, שמתיר שימוש חופשי ושינוי של הקוד גם לצרכים מסחריים. לגבי סרטונים שמעלים או מנתחים, הזכויות נשארות כפופות לתנאי הפלטפורמה המארחת ולזכויות היוצרים המקוריות של הקבצים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗