mt-bench

מה זה

במקום לתת לכם להקליד פרומפטים משלכם, כאן בוחרים מתוך מאגר שאלות קיים. בוחרים קטגוריה ושאלה מתוך תפריטים נפתחים, ומקבלים את השאלה המקורית, תשובת ייחוס, ואת התשובה שהמודל הנבחר החזיר כולל הסבר או ציון שנשמרו מראש.

הממשק בנוי משני מצבי צפייה: לשונית אחת להערכת תשובה של מודל בודד, ולשונית שנייה להשוואה ישירה של ראש בראש בין שני מודלים שונים על אותה שאלה בדיוק. הקוד טוען נתונים שנאגרו מראש ולא מייצר טקסט בזמן אמת, כך שמה שרואים זה תיעוד תוצאות המבחן.

מתאים ל

• השוואת מודלים זה לצד זה

  בוחרים שאלה ובודקים איך שני מודלים שונים ענו עליה בלשונית ההשוואה.

• בדיקת תשובות ייחוס

  צופים בשאלות המבחן ובתשובת הייחוס כדי להבין את רף ההערכה.

• עיון בהסברי ציונים

  קוראים את הניתוח וההסבר שנשמרו עבור התשובה של כל מודל.

איפה זה נופל

הממשק אינו מריץ מודלים חיים ואי אפשר להזין בו שאלות חדשות, טקסט חופשי או קבצים משלכם. אתם מוגבלים לחלוטין לשאלות ולמודלים שהוכנסו למאגר במקור. אי אפשר לדעת מתוך הממשק עצמו מתי הנתונים עודכנו לאחרונה, ואם אתם מחפשים ביצועים בעברית, קחו בחשבון שהמבחן בנוי על שאלות שנכתבו באנגלית. זה כלי עיון בתוצאות קיימות בלבד ולא סביבת בדיקה פעילה.

איך משתמשים

נכנסים לדף, בוחרים קטגוריה, שאלה ואת המודלים שרוצים לבדוק. התוכן מוצג מיד בלי צורך בהרשמה, התחברות או המתנה בתור. מאחר שזה רץ על מעבד בסיסי ומציג נתונים קיימים בלבד, המעבר בין הבחירות מהיר ואינו דורש כוח חישוב גרפי.

הרישיון

הרישיון מוגדר כ־other, כלומר תנאי שימוש מותאמים אישית שלא פורטו בקוד. אין כאן אפשרות להעלות תוכן משלכם, כך שאין חשש לזליגת מידע, אך לפני שימוש מסחרי בנתונים המוצגים כדאי לבדוק את תנאי הפרויקט המקורי של lmsys.

הרישיון המלא ב־Hugging Face ↗