closed-vs-open-arena-elo

מה זה

היישום מושך נתונים מקובצי pkl ו־csv של לוח המובילים מבית lmsys/chatbot-arena-leaderboard ומציג אותם בציר זמן. אין כאן הרצה של בינה מלאכותית מקומית או עיבוד טקסט, אלא ויזואליזציה שמבוססת על ספריית plotly וטבלאות נתונים של pandas.

בממשק אפשר לבחור קבוצות מודלים, לסנן לפי ציון מינימלי, להגביל את כמות המודלים לחודש ולשלוט בהצגת הערות על הגרף. לשונית אחת מציגה את התרשים המשווה, ולשונית שנייה מציגה טבלת נתונים גולמיים עם אפשרות להורדת המידע כקובץ csv.

מתאים ל

• השוואת ביצועי מודלים

  מעקב אחר מגמת הצמצום בפער בין מודלי קוד פתוח למודלים קנייניים לאורך זמן.

• סינון לפי ארגון

  בדיקת מיקומים והתקדמות של חברות וארגונים ספציפיים מתוך נתוני הדירוג.

• ייצוא נתונים גולמיים

  הורדת טבלת הציונים והתאריכים כקובץ CSV לניתוח עצמאי בכלים חיצוניים.

איפה זה נופל

היישום לא בוחן מודלים בעצמו ואינו מאפשר להזין פרומפטים לבדיקה. הוא תלוי לחלוטין בעדכוני הנתונים החיצוניים של LMSYS, וכשהחיבור או הקוד נשברים הממשק קורס לחלוטין. כמו כן, אין תמיכה בניתוח נתונים מותאם אישית מעבר לפרמטרים הבסיסיים שהוגדרו מראש.

איך משתמשים

לוחצים על תפריטי הבחירה והסליידרים כדי לסנן לפי ארגון או ציון, והגרף אמור להתעדכן. הגישה פתוחה ישירות מהדפדפן בלי צורך בהתחברות או יצירת חשבון. המערכת מוגדרת על מעבד משודרג, אך נכון לעכשיו סטטוס הריצה מדווח על שגיאה (RUNTIME_ERROR), כך שהממשק אינו פעיל בפועל.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמתיר שימוש חופשי, שינוי והפצה כולל למטרות מסחריות. המידע המוצג נשען על נתוני צד שלישי של LMSYS, כך ששימוש בנתונים עצמם כפוף למדיניות שלהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗