toolbench-leaderboard
רץ בדפדפןqiantong-xuרישיון לא דווח2023-05-31
לוח תוצאות שמרכז ציוני ביצועים של מודלי שפה שונים בשימוש בכלים חיצוניים. הממשק מיועד למי שבוחר מודל קוד פתוח למשימות אוטומציה ורוצה לראות השוואה מול ביצועי GPT-4.
- —הורדות בחודש
- 71לייקים
מה זה
הדף הזה לא מבקש מכם קלט ולא מעבד טקסט שתזינו. במקום להריץ בדיקות בעצמו, הוא מציג טבלת נתונים סטטית שמבוססת על המחקר On the Tool Manipulation Capability of Open-source Large Language Models ומחלקת את התוצאות למודלים שעברו כוונון ייעודי לכלי עבודה וכאלה שלא.
ברשימות מוצגים ציונים מספריים שמודדים הצלחה במניפולציית כלים, כולל מודלים מוכרים כמו StarCoder, משפחת CodeLlama בגרסאות 13B ו־34B, מודל Bloomz ופתרונות מכווננים כמו llama-30b-toolbench לצד GPT-4 כבנצ'מרק ייחוס. הנתונים עצמם מוגדרים מראש בתוך הקוד, כך שהתצוגה רק מפרקת את המחרוזות ומסדרת אותן כרכיב טבלה לקריאה מהירה.
מתאים ל
- השוואת ביצועי מודלים
בדיקת ציוני ההצלחה של מודלי קוד פתוח בהפעלת כלים מול GPT-4 לפני בחירת ארכיטקטורה.
- בדיקת השפעת כוונון
צפייה בהבדלי הציונים בין גרסאות בסיס לבין מודלים שעברו התאמה ייעודית לממשקים חיצוניים.
- שליפת ציטוט למחקר
העתקת פרטי הציטוט הביבליוגרפי של המאמר ישירות מתוך תיבת הטקסט בממשק.
איפה זה נופל
השם עלול להטעות, שכן הדף אינו מריץ בדיקות חיות ואינו מאפשר לכם לבחון מודל חדש על הבנצ'מרק ישירות מהדפדפן. מדובר בהצגת תוצאות קבועות מראש שנאספו בעת פרסום המחקר במאי 2023, כך שכל התפתחות או גרסת מודל שיצאה מאז פשוט לא מופיעה כאן ללא עדכון ידני של הקוד.
שאלות
נפוצות
האם השימוש בדף עולה כסף?
הגישה פתוחה בחינם לגמרי דרך הדפדפן. אין כאן מנגנון תשלום ואין צורך להירשם או לחבר כרטיס אשראי כדי לראות את הנתונים.
מה קורה למידע או לקבצים שאני מזין?
הממשק אינו כולל שדות קלט, תיבות שיחה או אפשרות להעלאת קבצים. שום מידע שלכם אינו נשלח לשרת או נשמר במערכת.
האם האפליקציה הזאת מריצה את המודלים בפועל?
לא, המודלים אינם מופעלים על השרת בזמן אמת. האפליקציה רק מציגה טבלת ציונים שנאספו מראש במחקר ולא מריצה שום תהליך עיבוד בינה מלאכותית.
האם אפשר להריץ את הטבלה הזו באופן מקומי?
כן, מדובר בקובץ פייתון יחיד שמבוסס על ספריית גרדיו ופנדס ומכיל את הנתונים ישירות בתוכו. אפשר להוריד את הקוד ולהפעיל אותו על כל מחשב שמריץ סביבת פייתון בסיסית ללא צורך במעבד גרפי.
איך משתמשים
אין כאן טפסים למלא או קבצים להעלות. אתם נכנסים לדף, צופים בטבלה, ואם משהו לא נטען אפשר ללחוץ על כפתור Refresh. הדף רץ על חומרת מעבד בסיסית בלבד, אבל מכיוון שהוא בסך הכל טוען מערך נתונים טקסטואלי קיים לתוך ממשק גרדיו, התצוגה עולה כמעט מיד ללא זמני המתנה.
הרישיון
היוצר לא הגדיר רישיון שימוש במאגר. במצב כזה אין הרשאה ברורה להעתיק או לשלב את הקוד והנתונים בפרויקטים מסחריים. אין סכנת פרטיות לגבי התוכן שלכם, מהסיבה הפשוטה שהכלי לא מאפשר להעלות או לשלוח אליו קבצים.