AIR-Bench/leaderboard

מה זה

הממשק מציג טבלאות ביצועים בשתי משימות עיקריות: מענה על שאלות (QA) ומסמכים ארוכים (Long Doc). בכל אחת מהן אפשר לבחון שילוב של אחזור ודירוג מחדש, אחזור בלבד, או דירוג מחדש בלבד שמסתמך על BM25 בבסיסו.

המידע בטבלאות נטען ממאגר תוצאות ייעודי ומתעדכן ברקע. לצד צפייה בציונים, קיים טופס הגשה שבו מזינים שמות וקישורים של מודל האחזור ומודל הדירוג מחדש, בוחרים גרסת מבחן ומעלים קובץ יחיד שמכיל את תוצאות החיפוש לבדיקה.

מתאים ל

• בחירת מודל אחזור

  בדיקת ביצועים של מודלי אחזור קיימים במשימות שאלות ומסמכים ארוכים.

• השוואת דירוג מחדש

  בחינת מודלי דירוג מחדש מעל תוצאות בסיסיות של BM25.

• הגשת מודל למדד

  העלאת קובץ תוצאות כדי לדרג מודל פיתוח חדש בלוח הציבורי.

איפה זה נופל

זהו לוח תוצאות סטטי בעיקרו, ולא ממשק להרצת מודלים בזמן אמת. אי אפשר להקליד כאן שאילתה ולראות מה המודל שולף או לדרג טקסט ישירות במקום. בנוסף, מי שמעלה קובץ אינו רואה תוצאות במקום. ההרצה והערכת הקבצים מתבצעות בחלל נפרד (backend) שאינו מובנה בעמוד זה, ולכן נדרשת סבלנות עד שהתוצאות מתעדכנות.

איך משתמשים

אין צורך בהתקנה, פשוט נכנסים לעמוד ולוחצים על הלשוניות של המשימות השונות כדי לסנן ולחפש מודלים. הטבלאות מוצגות מיד מכיוון שהנתונים כבר מעובדים מראש.

אם רוצים להגיש מודל, עוברים ללשונית ההגשה, ממלאים את שדות הטקסט של שמות המודלים והקישורים, בוחרים אם להישאר אנונימיים, ומעלים את הקובץ דרך הכפתור הייעודי. השרת רץ על מעבד משודרג (cpu-upgrade), כך שהניווט בטבלאות מהיר ואינו דורש זמן עיבוד גרפי.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, המאפשר שימוש חופשי ושינוי. קובצי התוצאות שמועלים נמסרים להערכה ציבורית בלוח התוצאות, אך קיימת אפשרות לסמן הגשה כאנונימית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗