חדש תמונה, וידאו, קריינות ותמלול בקריאה אחת, בלי להריץ מודל. מנסים בלי שרת

GPT
M

MVBench_Leaderboard

רץ בדפדפן

OpenGVLabmit2023-12-16

  • gradio

לוח תוצאות שמרכז ציונים והשוואות של מודלים שונים על בסיס מבחן MVBench. הוא מיועד לחוקרים ולמפתחים שרוצים לבדוק ביצועים או להגיש תוצאות של מודל משלהם.

  • —הורדות בחודש
  • 44לייקים

מה זה

בעמוד הראשי תמצאו טבלה שמציגה מודלים שונים, הגדלים שלהם והציונים שהם קיבלו במבחן. אפשר לסנן עמודות עם תיבות סימון כדי להציג רק את המדדים שמעניינים אתכם, לקרוא פרטים בלשונית המידע, או להוריד את כל הנתונים בקובץ CSV.

בלשונית ההגשה אתם מעלים קובץ JSON עם תוצאות הערכה של מודל. ממלאים שם מודל, גרסה, קישור, סוג המודל, מודל השפה שבבסיסו והגודל שלו, ושולחים את הקובץ לעדכון המאגר. הממשק עצמו לא מריץ מודלים של וידאו או שפה, אלא משתמש ב־pandas כדי להציג ולנהל טבלאות נתונים.

מתאים ל

  • השוואת ביצועי מודלים

    בדיקה מהירה של ציוני מודלים שונים על פי נתוני MVBench וסינון לפי מדדים שמעניינים אתכם.

  • הורדת נתוני הבנצ'מרק

    ייצוא כל טבלת ההשוואה לקובץ CSV בלחיצת כפתור לשימוש במחקר חיצוני.

  • הגשת מודל חדש

    העלאת תוצאות הערכה בפורמט JSON כדי להוסיף מודל שפיתחתם ללוח הציבורי.

איפה זה נופל

הממשק לא מעבד סרטונים ולא מריץ בדיקות על מודלים בזמן אמת. אתם חייבים להריץ את המבחן בעצמכם מראש ולהביא קובץ תוצאות מוכן. הטבלה מציגה רק מה שסופק בקובצי הנתונים, ולכן אי אפשר לבחון פה את התנהגות המודלים בפועל אלא רק להשוות מספרים יבשים.

שאלות
נפוצות

האם אפשר להריץ פה בדיקה של מודל הווידאו שלי?

לא. הממשק לא מריץ מבחנים ולא מנתח וידאו. אתם צריכים להריץ את הבנצ'מרק אצלכם ולהעלות לפה רק את קובץ התוצאות הסופי בפורמט JSON.

האם השימוש עולה כסף או דורש חשבון?

הכלי פתוח לצפייה חופשית בדפדפן בלי תשלום. אפשר לעיין בציונים ולהוריד את הטבלה ללא שום הרשמה.

כמה זמן לוקח לטבלה לפעול ולהתעדכן?

הטבלה עולה מיד מכיוון שמדובר בעיבוד נתונים קל על מעבד בסיסי. אין תורים של עיבוד גרפי, והורדת קובץ ה־CSV מתבצעת ברגע.

האם אפשר להריץ את העמוד הזה מקומית?

כן, הקוד פתוח תחת רישיון MIT ובנוי ב־Gradio ו־pandas. אפשר למשוך את הקבצים ולהריץ את הממשק מקומית בלי צורך בחומרה כבדה.

איך משתמשים

לוחצים על הלשוניות כדי לעבור בין הטבלה, המידע ואזור ההגשה. בחירת עמודות מסננת את הטבלה במקום, וכפתור הרענון טוען מחדש את המידע. אם רוצים להגיש מודל, גוררים קובץ JSON יחיד, מקלידים את הפרטים בתיבות הטקסט ולוחצים על שליחה. הכל רץ על מעבד בסיסי, כך שטעינת הטבלה וההורדה מיידיות ואין צורך בכרטיס מסך חזק.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה ושינוי. קובצי ה־JSON ופרטי המודלים שאתם מעלים מיועדים להצגה פומבית בלוח התוצאות, ולכן אין להעלות לשם נתונים פרטיים או מוגנים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש

הרישיון המלא ב־Hugging Face ↗