SEED-Bench_Leaderboard

מה זה

הממשק מציג טבלאות נתונים להשוואת מודלים בשתי גרסאות של המבחן, v1 ו־v2. אפשר לסנן את התצוגה לפי גודל מודל, שיטת הערכה וסוג הממוצע של הביצועים, או לעבור ללשונית הגשה כדי להעלות קובץ נתונים משלכם.

בעמוד ההגשה מזינים פרטים על המודל כמו שם, קישור, גרסה, סוג ה־LLM וגודלו, ומעלים קובץ JSON בודד שמכיל את תוצאות ההערכה. המערכת קוראת את הקובץ ומשלבת את הנתונים בלוח.

מתחת לממשק לא רצה הסקת מסקנות חיה של מודלי הענק. האפליקציה נשענת על נתוני הדאטהסט AILab-CVC/SEED-Bench ומציגה הערכות שנמדדו על מודלים כמו סדרת LLaMA, Dolly ו־Stable Vicuna.

מתאים ל

• השוואת מודלים למחקר

  בדיקת ציונים יחסיים של גרסאות LLaMA ומודלים נוספים על משימות המבחן השונות.

• סינון לפי ארכיטקטורה

  חיתוך טבלאות הציונים לפי גודל המודל וסוג ה־LLM לקבלת תמונה נקודתית.

• הגשת מדדים ללוח

  העלאת קובץ JSON עם תוצאות עצמאיות כדי להתברג בדירוג הציבורי של SEED-Bench.

איפה זה נופל

הכלי לא מריץ מודלים ולא בוחן קבצי תמונה או טקסט בעצמו. הוא רק קורא ומציג ציונים מקובצי תוצאות מוכנים, כך שאין כאן אפשרות להתרשם מאיכות הפלט בפועל. בנוסף, ההסתמכות עליו כרגע אפסית כי היישום תקוע בשגיאת בנייה ולא עולה.

איך משתמשים

טוענים את הדף, בוחרים לשונית של גרסת המבחן הרצויה ומסמנים תיבות כדי לסנן עמודות, גדלים ושיטות מדידה. אם רוצים להגיש תוצאות, ממלאים את שדות הטקסט בלשונית ההגשה, בוחרים קובץ JSON ולוחצים על Submit Eval.

כרגע המצב הטכני של החלל מוגדר כשגיאת בנייה (BUILD_ERROR) על מעבד בסיסי, ולכן אי אפשר להשתמש בו ישירות בדפדפן עד שהמפתחים יתקנו את ההרצה.

הרישיון

הפרויקט מפורסם ברישיון cc-by-4.0, שמתיר שימוש, שיתוף והתאמה כולל לצרכים מסחריים, כל עוד נותנים קרדיט מתאים ליוצרים. המידע מבוסס על תוצאות שמועלות ומפורסמות במאגר.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗