GPT
O

openvlm_video_leaderboard

רץ בדפדפן

opencompassapache-2.02024-09-24

  • gradio
  • leaderboard

לוח תוצאות שמרכז ציוני מבחנים למודלים של הבנת וידאו, מבוסס על ערכת VLMEvalKit. הוא מיועד לחוקרים ולמפתחים שמחפשים מודל ראייה ממוחשבת לפרויקט הבא.

  • הורדות בחודש
  • 136לייקים

מה זה

לא מזינים כאן סרטונים ולא מריצים מודלים בזמן אמת. הממשק מציג טבלאות נתונים מוכנות של ביצועי מודלים שונים, שנבדקו מראש על מאגרי מבחן בתחום הווידאו.

התוצאות מבוססות על כלי ההערכה הפתוח VLMEvalKit, שבוחן מודלים רב-מודאליים על מדדים שונים ומסכם ציונים כלליים ומפורטים. במסך רואים טבלה ראשית של כלל המודלים, לצד לשוניות נפרדות עבור מאגרי נתונים ספציפיים ולשונית מידע כללי.

אפשר לסנן את הרשימות באמצעות תיבות בחירה לפי גודל המודל וסוג המודל, וכך לבודד בדיוק את הגדלים שרלוונטיים לתקציב המחשוב שלכם.

מתאים ל

  • בחירת מודל וידאו לפיתוח

    סינון מודלים לפי גודל וסוג כדי למצוא את האופציה שמתאימה לדרישות הפרויקט.

  • השוואת ביצועים במאגר מסוים

    מעבר בין הלשוניות השונות כדי לבדוק מי מוביל במבחן הערכה ספציפי.

  • שליפת ציטוט למאמר מחקרי

    העתקת פרטי הציטוט המוכנים של דוח VLMEvalKit ישירות מתחתית העמוד.

איפה זה נופל

זהו לוח ציונים בלבד ולא סביבת ניסוי. אי אפשר להעלות קובץ וידאו פרטי כדי לראות איך מודל מסוים מתמודד איתו, ואי אפשר להריץ מבחן על מודל עצמאי שלא נכלל במאגר מראש. מעבר לכך, ציוני מבחנים סינתטיים לא תמיד משקפים ביצועים על סרטונים באיכות נמוכה או בעברית.

שאלות
נפוצות

האם השימוש בעמוד עולה כסף?

לא. הצפייה בלוח התוצאות והשימוש במסננים פתוחים לגמרי בחינם בדפדפן.

מה קורה עם קובצי הווידאו שלי?

שום דבר, כי אין כאן אפשרות להעלות קבצים. מדובר בטבלאות נתונים סטטיות שמציגות מבחנים שנעשו מראש.

במה זה שונה מהרצת מודל וידאו?

הממשק אינו מריץ חישובים של רשתות עצביות ולא מעבד שום תוכן. הוא רק מציג תוצאות של ריצות שבוצעו בעבר עם ערכת VLMEvalKit.

האם אפשר להריץ את זה מקומית?

כן. קוד הלוח בנוי ב־Gradio וזמין ברישיון פתוח, וערכת הבדיקה המלאה נמצאת ב־GitHub של הפרויקט למי שרוצה להריץ מבחנים בעצמו.

איך משתמשים

נכנסים לעמוד וצופים ישירות בטבלאות, בלי להירשם ובלי להמתין בתור. הממשק רץ על מעבד בסיסי, מה שמספיק לסינון והצגת טבלאות נתונים קיימות אבל עשוי להגיב לאט בטעינה ראשונית. אתם פשוט מסמנים את סוג המודל וגודלו הרצוי, והטבלה מתעדכנת במקום.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמתיר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאחר שלא מעלים קבצים לממשק, אין חשש לזליגת מידע אישי.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗