arena-leaderboard
רץ בדפדפןlmarena-aiapache-2.02023-05-20
העמוד מרכז טבלת דירוג וסטטיסטיקות של מודלי שפה שמתחרים זה מול זה. אם אתם מחפשים לדעת איזה מודל מוביל כרגע במבחני קהל, זה המקום להסתכל בו.
- —הורדות בחודש
- 4,988לייקים
מה זה
אתם לא מעלים לכאן קבצים ולא מריצים פרומפטים ישירות. הדף מציג נתונים שנאספו מתוך קרבות עיוורים בין מודלים, כפי שהוגדרו במערך FastChat. המסך מחולק ללשוניות, כשהעיקריות שבהן מציגות את לוח המובילים המלא ואת הסטטיסטיקות הבסיסיות שנרשמו לאורך זמן.
הקוד עצמו נשען על מודול הניטור הפנימי של fastchat.serve, שטוען נתוני השוואה מרוכזים ישירות לתוך ממשק Gradio. אין כאן תיבת צ'אט פעילה אלא תצוגת תוצאות בלבד, כך שמקבלים בעיקר טבלאות נתונים ומדדים שנבנו מתוך הצבעות עבר, בלי יכולת לבדוק בעצמכם תשובות ספציפיות בזמן אמת.
מתאים ל
- השוואת ביצועי מודלים
בדיקת מיקומם של מודלים שונים בטבלה לפני שבוחרים מודל לפיתוח או לשימוש.
- מעקב אחר סטטיסטיקות
עיון בלשונית הנתונים כדי לראות מדדי הצבעה והיקפי שימוש שנאספו לאורך הזמן.
- בחינת פערי איכות
הבנה אילו מודלים מובילים את הדירוג הכללי מול שאר המתחרים שנבדקו.
איפה זה נופל
זהו לוח תוצאות ולא כלי הרצה, ולכן אי אפשר להזין בו טקסט בעברית ולראות איך המודלים מתמודדים איתו בפועל. הדירוג משקף מבחנים קודמים, ולא תמיד מציג מיידית גרסאות חדשות שיצאו באותו יום. אם אתם צריכים לבדוק ביצועים על משימה מוגדרת משלכם, הטבלה הכללית לא תחליף בדיקה עצמאית.
שאלות
נפוצות
האם הצפייה בנתונים עולה כסף?
לא, הגישה לטבלאות פתוחה לגמרי לכולם ישירות דרך הדפדפן. אתם לא צריכים לשלם דבר או להזין פרטי אשראי כדי לצפות בדירוג. פשוט נכנסים לעמוד ורואים את הנתונים.
האם אני מעלה לכאן קבצים או מידע אישי?
לא מעלים לכאן שום קובץ או טקסט. הממשק מציג טבלאות נתונים סטטיות שנטענות מראש, כך שאין שום סיכון לפרטיות של מסמכים שלכם. כל מה שמוצג הוא פלט מרוכז של השוואות.
האם אפשר להריץ מודל מתוך העמוד הזה?
לא, זהו לוח תוצאות בלבד ולא ממשק שיחה פעיל. כדי להריץ פרומפטים ולבדוק תשובות, צריך לפנות לממשק הקרבות עצמו או להריץ את המודלים בנפרד. כאן מקבלים רק את הדירוג הסופי והסטטיסטיקות.
האם אפשר להריץ את הלוח הזה מקומית?
הקוד משתמש בחבילת FastChat וברישיון קוד פתוח מסוג apache-2.0, כך שניתן למשוך אותו ולהריץ מקומית. עם זאת, תצטרכו את קובצי הנתונים והתלויות המתאימות כדי לבנות את הטבלאות אצלכם במחשב. לרוב המשתמשים אין צורך בזה, כי הדף בדפדפן מתעדכן ישירות.
איך משתמשים
נכנסים לקישור בדפדפן והעמוד עולה מיד. אין צורך לפתוח חשבון, להתחבר או להמתין בתור כדי לראות את המידע. הנתונים כבר מחושבים מראש, כך שהטעינה מסתכמת בזמן שנדרש לסקריפט להציג את הטבלאות על המסך. אפשר לעבור בין הלשונית של הדירוג ללשונית של הסטטיסטיקות, ולסנן את התצוגה לפי מה שהוגדר בממשק.
הרישיון
הקוד של הדף מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקבצים. מאחר שלא מעלים תוכן או קבצים אישיים לממשק הזה, אין שמירה של מידע פרטי שלכם בצד השרת.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים