smolagents-leaderboard
רץ בדפדפןsmolagentsרישיון לא דווח2025-02-28
לוח תוצאות שמרכז ציוני ביצועים של מודלי שפה שונים עבור ספריית smolagents. הוא מיועד למפתחים שרוצים לבחור מודל מתאים לסוכן שלהם לפי נתוני דיוק שנמדדו מראש.
- —הורדות בחודש
- 142לייקים
מה זה
אתם לא מריצים כאן מודלים ולא מעלים פרומפטים, אלא צופים בנתונים מוכנים שנאספו במבחנים קודמים. הממשק מציג טבלה שמבוססת על מאגר הנתונים smolagents/results מגרסת 2024-12-26, ומקבץ את התוצאות לפי מזהה המודל וסוג הפעולה של הסוכן.
הקוד בנוי עם FastAPI ומגיש קבצים סטטיים של צד לקוח לצד נתוני הדיוק. לפי שורות הקוד, הטבלה כוללת עמודות של model_id, agent_action_type, מקור המידע ומדד הדיוק acc. אין כאן הרצה חיה של מודל שפה, אלא דשבורד סטטי שמציג השוואה כמותית פשוטה בין המודלים שנבדקו באותו תאריך.
מתאים ל
- בחירת מודל לסוכן
בדיקת ציוני הדיוק של מודלים שונים לפני שמחברים אותם לקוד של smolagents.
- השוואת סוגי פעולות
בחינה איך המודל מתמודד עם סוגי פעולה שונים שהסוכן נדרש לבצע.
- עיון במאגר המבחנים
מציאת המזהים המדויקים של מודלים שנבדקו במאגר smolagents/results.
איפה זה נופל
הבעיה המיידית היא שהשרת קרס ולא עולה. מעבר לזה, הנתונים הוקפאו בסוף דצמבר 2024 ולא משקפים מודלים חדשים שיצאו מאז. הטבלה מציגה רק דיוק יבש ולא לוקחת בחשבון פרמטרים כמו עלויות קריאה, זמני תגובה של ה־API או התנהגות של המודל בעברית.
שאלות
נפוצות
האם פתיחת האפליקציה עולה כסף?
לא, הגישה לעמוד פתוחה לכולם בלי תשלום ובלי צורך להירשם. הנתונים מוצגים בחינם כחלק ממרחב פתוח של הקהילה. כל עוד השרת עובד, אפשר לצפות בהם חופשי.
מה קורה עם הקבצים שאני מעלה לשם?
אתם לא מעלים שום קובץ ולא מכניסים מידע משלכם. האפליקציה רק שולפת ומציגה מאגר נתונים קיים של תוצאות בדיקה. שום נתון פרטי שלכם לא נשלח לשום מקום.
האם אפשר להריץ את הלוח הזה מקומית?
כן, הקוד מבוסס על קונטיינר docker ושרת FastAPI סטנדרטי. אפשר למשוך את הקבצים ולהריץ אותם על המחשב שלכם, מה שגם יאפשר לכם לעקוף את שגיאת ההרצה שיש כרגע בעמוד.
במה הלוח הזה שונה מהרצת המודלים עצמם?
האפליקציה הזאת היא דוח סטטי ולא סביבת עבודה. היא לא מייצרת טקסט ולא מפעילה סוכנים בזמן אמת, אלא רק מראה כמה אחוזי דיוק המודלים קיבלו במבחן שנערך בעבר.
איך משתמשים
כרגע אי אפשר להשתמש באפליקציה בדפדפן כי היא מוגדרת במצב RUNTIME_ERROR. במצב תקין לא צריך להתחבר או לחכות בתור, פשוט נכנסים לעמוד ורואים את הנתונים שנשלפים מהקוד. השרת יושב על חומרת cpu-basic בתוך קונטיינר docker, שזה די והותר לשרת דפי רשת ומערכי נתונים קטנים בלי עיכובים מיוחדים.
הרישיון
הרישיון לא דווח בעמוד של הפרויקט. המשמעות היא שאין הרשאה מפורשת לשימוש חוזר בקוד או בנתונים המוצגים, וכדאי לבדוק מול היוצרים לפני שמעתיקים את המידע לשימוש מסחרי.