open_vlm_leaderboard
רץ בדפדפןopencompassapache-2.02024-01-23
לוח תוצאות שמרכז ציוני מבחנים למודלי שפה ותמונה גדולים. פותחים אותו כדי להשוות ביצועים בין מודלים שונים לפני שבוחרים במה להשתמש.
- —הורדות בחודש
- 1,027לייקים
מה זה
לא מעלים לכאן תמונות ולא מריצים מודלים בזמן אמת. זהו לוח תוצאות שמציג נתוני הערכה שנאספו מראש באמצעות ערכת הקוד הפתוח VLMEvalKit, שעליה פורסם גם מאמר מחקרי ייעודי.
בממשק מוצגות טבלאות נתונים מפורטות לפי מבחני ביצוע שונים. הטבלה הראשית מרכזת ציון כולל על פני אוסף מבחנים נבחרים, ולצדה יש לשוניות נפרדות לכל מבחן ביצוע ספציפי עם פירוט ציונים מלא.
אפשר לסנן את המודלים בטבלאות לפי שם המודל בחיפוש חופשי, לפי גודל המודל מתוך תיבות סימון, ולפי סוג המודל. הנתונים עצמם מגיעים ישירות מתוצאות הרצה שחושבו מראש ולא מתבצע שום עיבוד גרפי בדפדפן.
מתאים ל
- השוואת ביצועי מודלים
בדיקת ציונים משוקללים של מודלי ראייה ושפה כדי לבחור את המודל המוביל למשימה.
- סינון לפי גודל מודל
מציאת מודלים קטנים או גדולים והשוואת התוצאות שלהם במבחנים מוגדרים.
- בדיקת מבחן ביצוע ספציפי
מעבר ללשונית של מבחן מסוים כדי לראות ציונים מפורטים ולא רק ממוצע כללי.
איפה זה נופל
העמוד לא מאפשר להריץ מודלים, לבדוק תמונות משלכם או להעלות מודל חדש לבדיקה ישירות מהדפדפן. הציונים משקפים בדיקות סטנדרטיות שנקבעו מראש, ולא התאמה למשימות ייחודיות שלכם או תמיכה בעברית. אם תרצו לבדוק מודל שלא מופיע בטבלה, תצטרכו להוריד את הקוד מגיטהאב ולהריץ אותו עצמאית.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
לא, הצפייה בלוח התוצאות והשימוש בסינונים פתוחים לגמרי לכולם בדפדפן. אין צורך לשלם, ליצור חשבון או להזין פרטי אשראי. כל הנתונים מוצגים באופן חופשי.
האם אני יכול להעלות תמונות לבדיקה?
לא, אין כאן אפשרות להעלות קבצים או לבדוק תמונות משלכם. האפליקציה מציגה רק טבלאות נתונים שנמדדו מראש במבחנים סטנדרטיים. כדי לבדוק מודל על תמונות שלכם צריך להשתמש במודל עצמו.
האם אפשר להריץ את זה מקומית?
כן, הקוד מבוסס על ספריית VLMEvalKit שזמינה בגיטהאב בקוד פתוח. אפשר להתקין אותה בסביבה שלכם ולהריץ את אותן בדיקות על מודלים מקומיים. העמוד בגרדיו הוא פשוט תצוגה גרפית של אותם נתונים.
במה העמוד שונה משימוש ישיר במודל ראייה?
כאן לא מפעילים שום מודל ולא מקבלים תשובות לשאלות על תמונות. זהו לוח בקרה שמרכז ציונים השוואתיים ממבחנים שנעשו בעבר. המטרה שלו היא מחקר והשוואה, לא עבודה מעשית עם המודלים.
איך משתמשים
נכנסים לעמוד והטבלאות נטענות מיד. אין צורך בהרשמה, אין תור ואין פקדי הרצה כבדים. כל מה שעושים זה לעבור בין הלשוניות, להקליד שם של מודל בתיבת הטקסט או לסמן גדלים וסוגים כדי לסנן את הרשימה. החומרה מאחורי העמוד מוגדרת כהרחבת מעבד, מה שמספיק לסינון טבלאות בלי שום השהיה.
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0. הרישיון מאפשר שימוש חופשי בקוד, שינוי שלו והפצה, כולל שימוש מסחרי, כל עוד שומרים על תנאי הרישיון המקוריים. אין כאן יצירה של תוכן חדש או שמירה של קבצים שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים