open-llm-leaderboard-old/open_llm_leaderboard
רץ בדפדפןopen-llm-leaderboard-oldapache-2.02024-06-25
לוח תוצאות שמרכז ומדרג ביצועים של מודלי שפה פתוחים. הוא מציג נתוני מבחנים וציר זמן השוואתי לחוקרים ולמפתחים שבוחרים מודל לפרויקט.
- —הורדות בחודש
- 106לייקים
מה זה
אין פה תיבת טקסט שבה מזינים פרומפט ומקבלים תשובה ממודל שפה. במקום זה מקבלים ממשק השוואתי שמרכז תוצאות של מודלים פתוחים כמו Yi-34B או NexoNimbus-7B מתוך מאגרי נתונים ייעודיים של בקשות ותוצאות הערכה.
המסך מחולק ללשוניות שמציגות טבלת ביצועים עם מסנני עמודות, וגרפים של ציר זמן שמשווים בין ממוצעי הציונים הגבוהים לבין רף ביצועים אנושי. בנוסף יש לשוניות עם הסברים על המבחנים ותשובות לשאלות נפוצות, לצד תיבת ציטוט אקדמי למי שנעזר בנתונים למחקר.
מאחורי הקלעים רץ קוד פייתון שמושך נתונים מקבצים שמורים, מעבד אותם לתוך דאטהפריים ומייצר גרפיקה ותרשימים דרך רכיבי לוח בקרה של גרדיו.
מתאים ל
- השוואת ציוני מודלים
בדיקת תוצאות המבחנים של מודלים פתוחים כמו Yi-34B מול גרסאות אחרות בטבלה.
- מעקב היסטורי בגרפים
צפייה בשינוי של ציוני המודלים לאורך זמן ביחס לרף יכולת אנושית.
- ציטוט נתונים במחקר
העתקת פרטי הציטוט המוכנים מתוך הממשק לצורך אזכור במאמרים אקדמיים.
איפה זה נופל
הבעיה המרכזית כרגע היא שהיישום נמצא במצב שגיאת בנייה ולכן הוא מושבת ולא נפתח. אי אפשר לראות את הטבלאות, לא ניתן לצפות בגרפים, ואין גישה לממשק עצמו דרך הדפדפן.
מעבר לכך מדובר בלוח ישן של מבחני ביצועים, ולא בכלי שמריץ צ'אט או בדיקה חיה של טקסט חדש. הוא מציג תוצאות שנמדדו בעבר על מאגרי נתונים מוגדרים, ולא נותן אינדיקציה לאיך המודלים האלה מגיבים בשפה העברית למשל. אל תסתמכו על המידע פה כשיקוף של יכולות המודלים העדכניים בשוק.
שאלות
נפוצות
האם השימוש בלוח הזה עולה כסף?
לא, הגישה לעמוד פתוחה לגמרי בחינם. אין צורך לשלם, להכניס אמצעי תשלום או להירשם לחשבון כדי לצפות במידע, בהנחה שהעמוד תקין.
האם אני יכול לבדוק כאן מודל שלי או טקסט אישי?
לא, זהו ממשק קריאה בלבד שנועד להציג ציונים של מבחנים קיימים. אין פה תיבת קלט לפרומפטים או מנגנון להעלאת קובצי טקסט שלכם לניתוח.
למה העמוד לא עולה לי כשאני מנסה להיכנס?
היישום מוגדר כרגע במצב של שגיאת בנייה בקוד שלו. עד שהמפתחים יתקנו את שגיאות הטעינה של הסקריפטים, הדפדפן לא יציג את הממשק.
במה הכלי הזה שונה מהרצת מודל שפה רגיל?
הכלי לא מייצר טקסט ולא עונה על שאלות. הוא רק מציג טבלאות וגרפים סטטיסטיים שהופקו מביצועי מודלים שונים במבחנים מוגדרים מראש.
איך משתמשים
בפועל אתם לא צריכים להעלות קבצים או ללחוץ על כפתור הרצה כדי לקבל תוצאות. הדפדפן אמור לפתוח את לוח הבקרה, שבו אפשר לסנן מודלים, להציג עמודות שונות לפי מדדי הערכה ולנווט בין לשונית הטבלה לגרפים.
כרגע המצב הטכני של היישום מוגדר כשגיאת בנייה, כך שהוא פשוט לא יעלה בדפדפן עד שיתקנו אותו. במקור הוא הוגדר לרוץ על חומרת מעבד משודרגת כדי לעבד את הנתונים, אבל כל עוד השרת לא מסיים להיבנות בהצלחה, אין אפשרות להשתמש בממשק כלל.
הרישיון
הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאחר שמדובר בלוח תוצאות ולא במודל אינטראקטיבי, אתם לא מעלים לכאן מידע אישי או טקסטים שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים