WildBench — הדגמה
רץ בדפדפןallenaiרישיון לא דווח2024-03-06
זו הדגמה שמריצה את הדאטהסט WildBench.
לוח תוצאות שמרכז ציוני ביצועים של מודלי שפה על בסיס נתוני WildBench. מיועד למי שבוחר מודל ורוצה השוואה מספרית ישירה בין משפחות Llama ו־Qwen.
- —הורדות בחודש
- 232לייקים
מה זה
לא מזינים פה טקסט ולא מריצים מודלים במקום. הממשק מציג טבלאות נתונים מוכנות מראש שמשוות בין מודלים כמו Llama 3, Llama 2 וגרסאות שונות של Qwen בגדלים שבין 7 מיליארד ל־72 מיליארד פרמטרים.
התוצאות נשענות על מאגר המבחנים של allenai ומציגות מדדים כמו WB-Score ודירוגי Elo שונים. אפשר לסנן את הרשימה לפי מודלים פתוחים בלבד, או לשנות את מדד הדירוג המוביל כדי לבחון את ההשפעה של אורך התשובות על הציון.
מתאים ל
- בחירת מודל שפה
השוואת ביצועים מהירה בין מודלים שונים של Llama ו־Qwen לפי ציוני תקן.
- סינון מודלים פתוחים
הצגת תוצאות רק עבור מודלים שזמינים לשימוש בקוד פתוח ללא מודלים סגורים.
- ניתוח השפעת אורך
בדיקת השינוי בציוני ה־Elo כאשר מנטרלים העדפה לתשובות ארוכות במיוחד.
איפה זה נופל
זה לא כלי בדיקה אישי. אתם לא יכולים להעלות מודל משלכם, להריץ פרומפטים חדשים או לבדוק איך מודל מסוים מתמודד עם השפה העברית. הנתונים קבועים מראש, והממשק רק חושף חתכים שונים מתוך המאגר הקיים.
שאלות
נפוצות
האם הכלי הזה עולה כסף?
לא, השימוש בעמוד פתוח וחינמי לגמרי. אתם פשוט נכנסים לצפות בנתונים בלי דרישת תשלום או מנוי.
האם אני יכול להעלות לשם קבצים או פרומפטים?
אין שם אפשרות כזו בכלל. הממשק מציג טבלת השוואה בלבד, כך ששום קובץ או טקסט לא מועלה ולא נשמר בשום שרת.
במה הדף הזה שונה מהרצת המודלים עצמם?
האפליקציה הזאת אינה מריצה את משקלי המודלים בזמן אמת. היא רק מציגה ציונים ומדדים שנמדדו מראש על גבי מבחני WildBench.
האם אפשר להריץ את לוח התוצאות מקומית?
הקוד בנוי בספריית gradio ומבוסס על סקריפטים וטבלאות פנימיות. אפשר להוריד את הקבצים ולהריץ אותם בסביבה פרטית אם יש לכם את קובצי הנתונים.
איך משתמשים
נכנסים לדפדפן והעמוד נטען בלי צורך בהרשמה או התחברות. כל מה שנשאר לעשות זה להחליף לשוניות, לסמן תיבות בחירה כדי לסנן מודלים בקוד פתוח, או ללחוץ על כפתורי רדיו כדי לשנות את עמודת הדירוג.
הכל רץ על מעבד בסיסי, וזה עובד מהר כי אין פה שום חישוב כבד של בינה מלאכותית, אלא רק סינון וטעינה של נתונים וטבלאות קיימות.
הרישיון
הרישיון לא דווח במאגר. אם אתם מתכננים להשתמש בציונים או בטבלאות למחקר, כתיבה או פיתוח מסחרי, קחו בחשבון שאין הגדרת שימוש רשמית ומותרת בעמוד עצמו.