gaia-benchmark/leaderboard

מה זה

המסך מציג טבלת דירוג עם תוצאות של מודלים שונים על סט המבחן של GAIA. מאחורי הקלעים הקוד טוען מאגרי נתונים שמכילים את התוצאות, פרטי הקשר ומאגר פנימי עם תשובות נכונות לצורך בדיקה אוטומטית באמצעות רכיב ניקוד ייעודי.

חוץ מעיון בדירוג, יש אזור הגשה שבו מעלים קובץ תוצאות של המודל שלכם. מזינים שם את שם הסוכן, משפחת המודל, דוגמה לפרומפט המערכת, קישור למידע על המודל, שם הארגון ומייל ליצירת קשר. הנתונים מוצלבים מול המאגר הפנימי כדי לחשב את הציון.

מתאים ל

• השוואת סוכנים

  בדיקה אילו ארכיטקטורות ומודלים מובילים כרגע במבחני GAIA לפי נתוני סט המבחן.

• הגשת מודל עצמאי

  העלאת תוצאות של סוכן שפיתחתם כדי למדוד את הביצועים שלו ולקבל מקום בדירוג הפומבי.

• מעקב אחר ארגונים

  איתור מודלים לפי משפחת מודל, ארגון מפתח ודוגמאות של פרומפטים ששימשו להרצה.

איפה זה נופל

זהו לוח ציונים בלבד ולא מקום להרצת שיחות או בדיקות חיות מול המודלים. אי אפשר לשלוח כאן שאלה ולראות איך סוכן מסוים עונה עליה בפועל.

התוצאות שרואים בטבלה תלויות בקבצים שהוגשו ובאמינות הדיווח של מי שהעלה אותם. טאב תוצאות הוולידציה מנוטרל בקוד, כך שהגישה הזמינה היא לתוצאות המבחן בלבד.

איך משתמשים

כדי לעיין בטבלה רק נכנסים ולוחצים על כפתור הרענון במידת הצורך. העמוד רץ על מעבד משודרג, כך שטעינת הטבלה מהירה ואין צורך במעבד גרפי כבד לצפייה.

אם רוצים להגיש מודל לדירוג, חובה לבצע התחברות דרך כפתור ייעודי למשתמשי האתר. ממלאים את השדות, מעלים את קובץ התוצאות ולוחצים על כפתור ההגשה, שמריץ את החישוב ומעדכן את המאגרים.

הרישיון

הקוד מופץ תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. כתובת המייל שמוזנת בהגשה נשמרת במאגר פרטי לצורך יצירת קשר, בעוד שאר פרטי המודל מועברים למאגרים לצורך הצגת התוצאות לציבור.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗