MMEB-Leaderboard

מה זה

בעמוד הזה לא מריצים מודלים ולא מחשבים וקטורים בזמן אמת. הממשק מציג טבלאות נתונים מוכנות מראש שמשוות בין מודלים שונים על בסיס מבחני הביצועים מסדרת MMEB, כולל גרסאות V2 ו־V3. אפשר לחפש מודל ספציפי באמצעות תיבת חיפוש, לסנן לפי גודל המודל בעזרת סליידרים, ולעבור בין לשוניות לפי סוג המדיה: תמונות, וידאו, מסמכים ויזואליים, טקסט, אודיו ומשימות סוכנים חכמים.

מתחת למכסה המנוע נמצא קוד שקורא קובצי תוצאות בפורמט JSON, מחלץ את המדדים לכל משימה ובונה מהם טבלאות נתונים. המשתמשים יכולים לעיין בדירוגים הכוללים, לקרוא פרטים בלשונית ההסברים שמציגה תרשים סקירה של הדאטהסטים, או להוריד את הנתונים המלאים של כל קטגוריה כקובץ CSV או JSON ישירות למחשב.

מתאים ל

• השוואת מודלים למולטימדיה

  בדיקת ביצועים של מודלי שיבוץ שונים בתחומי וידאו, תמונה, טקסט ושמע כדי לבחור את המודל המתאים לפרויקט.

• הורדת נתוני דירוג

  ייצוא נתוני הביצועים והמדדים כקובצי CSV או JSON להמשך ניתוח מקומי ומחקר.

• הגשת מודל חדש למבחן

  שליחת קובצי תוצאות לבדיקה והוספת מודל עצמאי ללוח הדירוג הציבורי דרך לשונית ההגשה.

איפה זה נופל

זהו לוח דירוג סטטי ולא כלי שמייצר שיבוצים או בוחן מודלים במקום. אי אפשר להעלות לכאן תמונה או קטע קול כדי לבדוק איך מודל מסוים מתמודד איתם, ואין כאן הדגמה חיה של ביצועים. ההסתמכות היא על נתוני ההערכה שנמדדו בדאטהסטים של המבחן, מה שאומר שציונים גבוהים בטבלה לא מבטיחים שהמודל יתפקד באותה רמה על נתוני אמת ייחודיים, כמו טקסטים בעברית שלא בהכרח נכללים בבנצ'מרק.

איך משתמשים

השימוש פשוט וכולל לחיצה על הלשוניות השונות לצפייה בדירוגים, שימוש במחוונים לסינון גודל המודל או הקלדת שם בתיבת החיפוש. הטבלאות מתעדכנות מיד על גבי המסך, ויש כפתור רענון וכפתורי הורדה ייעודיים לקובצי נתונים. הממשק רץ על חומרת מעבד משודרגת ומגיב מהר כי הוא מציג נתונים טקסטואליים בלבד, ללא צורך בהרשמה לצפייה. בלשונית ההגשה אפשר לשלוח תוצאות של מודל חדש לבדיקה לפי ההנחיות.

הרישיון

הקוד של לוח הדירוג מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. הטבלאות והדירוגים מבוססים על דאטהסטים שונים ביניהם MMEB-eval וגרסאות V2 ו־V3, כך שלפני שימוש בתוצאות או במודלים המדורגים מומלץ לבדוק את תנאי הרישיון של כל מודל ודאטהסט בנפרד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗