human_eval_llm_leaderboard

מה זה

לא מזינים כאן טקסט ולא מריצים פרומפטים ישירים. הממשק מציג טבלאות נתונים מוכנות ותרשימים גרפיים, שמשווים בין מודלים שונים כמו גרסאות Llama, Dolly של Databricks ודגמי Stable-Vicuna.

התוצאות מתבססות על נתוני הערכה שמגיעים מהדאטהסטים open_llm_leaderboard_oai_evals ו־scale-human-eval. הנתונים האלה מתורגמים לדירוגי Elo בשני מצבים עיקריים המוצגים בטבלאות: אחד שאינו מאפשר תוצאת תיקו בהשוואות, והשני שכולל אפשרות לתיקו בין המודלים.

מתחת לטבלאות יש ארבעה תרשימים ויזואליים שמציגים את התפלגות התוצאות וההשוואות הגרפיות. בנוסף, הממשק כולל לשוניות מתקפלות לציטוט אקדמי של המחקר ורשימת שינויים היסטורית של המיזם.

מתאים ל

• השוואת דירוגי עבר

  עיון בציוני Elo של דגמי Llama ו־Vicuna על בסיס הערכות אדם מול GPT-4.

• בחינת השפעת תיקו בדירוג

  השוואה בין טבלת דירוג שמאפשרת שוויון בין מודלים לבין טבלה ללא תיקו.

• ציטוט נתוני מחקר

  שליפת מזהי ציטוט מתוך הממשק לצורך עבודות מחקר והשוואת בנצ'מרקים.

איפה זה נופל

הבעיה המרכזית היא שהחלל מדווח על שגיאת ריצה, כך שאי אפשר לצפות בנתונים כרגע. מעבר לזה, לא מדובר בכלי אינטראקטיבי לבדיקת מודלים חדשים משלכם, אלא רק בלוח תוצאות היסטורי עם מודלים ישנים יחסית מיוני 2023.

איך משתמשים

אין כאן כפתור הרצה או שדות קלט למילוי. נכנסים לעמוד וצופים בטבלאות ובגרפים שכבר חושבו מראש. המערכת מוגדרת על מעבד בסיסי, מה שמספיק לטעינת טבלאות, אבל כרגע העמוד נמצא במצב שגיאת ריצה ולכן הממשק כלל אינו נטען בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד, שינוי שלו והפצה, בכפוף לתנאי הרישיון. לא מעלים לכאן תוכן פרטי או קבצים אישיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗