agent-leaderboard — הדגמה

מה זה

אתם לא מזינים כאן טקסט משלכם ולא מריצים מודלים בזמן אמת. הממשק מציג טבלאות נתונים מוכנות מראש מתוך מאגר שנקרא galileo-ai/agent-leaderboard, ומחלק את המידע לשתי לשוניות נפרדות, גרסה אחת וגרסה שתיים.

בפנים תמצאו אפשרויות סינון של הדירוגים לפי מדדים שונים שנבדקו על המודלים במשימות מורכבות. הטבלאות מציגות ציונים וביצועים השוואתיים שמראים איך מודלי שפה שונים מתמודדים עם תהליכים של קבלת החלטות, שימוש בכלים ופירוק משימות, במקום בדיקות טקסט רגילות.

למרות שבתיעוד כתוב בטעות שמדובר בצ'אטבוט לדוגמה, הקוד בפועל בונה לוח תוצאות נקי שמבוסס כולו על טעינת קובצי נתונים וסינון שלהם דרך ממשק פשוט.

מתאים ל

• בחירת מודל לפיתוח סוכן

  השוואת ציונים של מודלי שפה מובילים לפני שמחליטים איזה מודל לשלב במערכת אוטומטית.

• מעקב אחר גרסאות מבחן

  בדיקת ההבדלים בדירוגים בין לשונית גרסה אחת ללשונית גרסה שתיים כדי לראות שינויים בביצועים.

• סינון מודלים לפי ביצועים

  שימוש במסננים המובנים כדי לבודד מודלים שעמדו ברף תוצאות מסוים במשימות סוכנים.

איפה זה נופל

זהו לוח השוואה סטטי בלבד ולא סביבת בדיקה חיה. אתם לא יכולים לבחון כאן איך מודל מסוים מתנהג עם משימות ספציפיות שלכם, ואי אפשר להריץ בו שאילתות בעברית כדי לבדוק שליטה בשפה. הנתונים משקפים רק את מבחני הביצוע שנשמרו במאגר של יוצרי הכלי, כך שצריך לזכור שהתוצאות בטבלה תלויות ישירות במתודולוגיה ובמדדים שהם הגדירו עבור אותם סוכנים ולא בהכרח מייצגות את העבודה שלכם בפועל.

איך משתמשים

נכנסים לדפדפן והעמוד עולה מיד, בלי צורך בהרשמה או בהזנת מפתחות גישה אישיים. הניווט מתבצע בין שתי הלשוניות של גרסאות הדירוג, ושם פשוט לוחצים על מסננים כדי למיין את הטבלה לפי מה שמעניין אתכם. הממשק יושב על חומרת מעבד בסיסית, וזה מספיק לגמרי כי הוא רק מציג ומסנן נתונים קיימים ולא מעבד פרומפטים כבדים, כך שהתגובה מהירה וללא זמני המתנה ממושכים.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה מחדש. מכיוון שלא מעלים לכאן שום קובץ או מידע פרטי, אין סיכון של שמירת נתונים אישיים או שימוש בתוכן שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗