GPT
R

reward-bench — הדגמה

רץ בדפדפן

allenaiapache-2.02024-01-02

  • gradio
  • leaderboard

זו הדגמה שמריצה את הדאטהסט reward-bench.

לוח תוצאות שמרכז ציוני ביצועים של מודלי תגמול שונים ומאפשר לבחון דגימות ממאגרי ההערכה. מתאים למי שבוחר או מאמן מודלי שפה ורוצה להשוות איכות של פונקציות תגמול.

  • הורדות בחודש
  • 435לייקים

מה זה

לא מזינים פה מודל משלכם להרצה. המסך מציג טבלאות נתונים מוכנות של מבחני ביצועים למודלי תגמול, עם חלוקה בין גרסת הבסיס לבין גרסה שתיים. אפשר לסנן את שורות הטבלה לפי שמות מודלים באמצעות תיבת חיפוש ולבחור סוגי מודלים בתיבות סימון, לצד כפתור שמוריד את הנתונים ישירות למחשב.

מתחת למנוע נמצאים נתוני מבחנים שנאספו על מאגרים שונים כמו ערכות נתונים של אלן, אנתרופיק ומאגרי קוד. הממשק כולל גם לשונית ייעודית לצפייה בדגימות אקראיות מתוך מאגרי ההערכה. אתם בוחרים תת קבוצה מתוך תפריט נגלל, לוחצים על כפתור התצוגה, והדפדפן פולט דוגמה אמיתית של שאלות ותשובות שנבדקו במחקר.

מתאים ל

  • השוואת מודלי תגמול

    בדיקת ציונים יחסיים בין מודלים שונים כדי להחליט באיזה מודל תגמול להשתמש באימון.

  • עיון בדוגמאות הערכה

    צפייה בדגימות אקראיות מתוך ערכות המבחן כדי להבין איך נמדדת איכות התשובות בפועל.

  • הורדת נתוני המבחנים

    משיכת טבלאות הציונים לקובץ מקומי לצורך ניתוח סטטיסטי עצמאי במחשב שלכם.

איפה זה נופל

זהו לוח תוצאות בלבד, ולא כלי שמאפשר להעלות קובצי מודל משלכם ולבחון אותם במקום. אתם לא יכולים לבדוק כאן מודלים פרטיים או להריץ השוואה בזמן אמת על טקסט חופשי.

התוצאות משקפות ביצועים על מבחני הערכה ספציפיים שהוגדרו מראש. ציון גבוה בטבלה לא מבטיח שהמודל יתפקד באותה רמה על משימות ייחודיות שלכם, במיוחד אם אתם עובדים בעברית שאינה מכוסה במאגרים האלה.

שאלות
נפוצות

האם השימוש בכלי עולה כסף?

לא, הגישה ללוח התוצאות פתוחה וחינמית לחלוטין לכולם. אין צורך להכניס פרטי אשראי או להירשם לשירות בתשלום כדי לראות את הנתונים.

מה קורה עם הקבצים שאני מעלה?

אין בממשק הזה אפשרות להעלות קבצים כלל, כך ששום מסמך או מידע שלכם לא מועבר לרשת. כל הנתונים המוצגים מגיעים ממאגרים ציבוריים שהוכנו מראש.

האם המערכת מריצה כאן מודלים בזמן אמת?

לא, האפליקציה רק מציגה תוצאות של הרצות קודמות שבוצעו על ידי צוות המחקר. המעבד שעליו יושב האתר מציג טבלאות וטוען דוגמאות טקסט בלבד.

האם אפשר להריץ את לוח התוצאות מקומית?

כן, הקוד כתוב בגרדיו ומפורסם תחת רישיון פתוח שמאפשר להוריד אותו ולהפעיל מקומית. כדי לראות את כל הדאטה תצטרכו גישה למאגרי הנתונים הרלוונטיים.

איך משתמשים

נכנסים לדף, עוברים בין הלשוניות של גרסה אחת או שתיים, ומסננים את טבלת הדירוג באמצעות שורת החיפוש. אם רוצים לראות דוגמת נתונים, עוברים ללשונית הצפייה במאגרים, בוחרים קטגוריה ולוחצים על הכפתור שמציג דגימה אקראית.

אין צורך להתחבר או להירשם לחשבון. השרת רץ על מעבד בסיסי, וזה מספיק לגמרי כי הוא מציג טבלאות וטקסטים מוכנים מראש ולא מריץ חישובים כבדים, כך שהמעבר והסינון קורים תוך שניות בודדות.

הרישיון

הקוד מופץ ברישיון אפאצ'י שתיים אפס, שמתיר שימוש חופשי ושינוי קוד כולל לצרכים מסחריים. מאחר שלא מעלים לכאן קבצים אישיים אלא רק צופים בנתונים קיימים, אין בעיית פרטיות או שמירת מידע משתמשים.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗