StickToYourRoleLeaderboard
רץ בדפדפןflowers-teammit2024-07-02
לוח תוצאות שמשווה בין מודלי שפה שונים לפי היכולת שלהם לשמור על תפקיד בסימולציות. מתאים לחוקרים שמחפשים נתונים על יציבות של סוכנים מרובים.
- —הורדות בחודש
- 63לייקים
מה זה
העמוד מציג השוואה של מודלים מובילים כמו משפחת Gemma 2, דגמי Llama 3 וסדרת Phi 3, על בסיס נתונים שנאספו במאגר StickToYourRole. המטרה היא לבדוק איך מודל מתנהג כשהוא מדמה אוכלוסייה, והאם הוא מצליח להישאר בתפקיד שהוגדר לו לאורך זמן בלי לסטות ממנו.
בפועל אתם מקבלים טבלאות דירוג שמבוססות על עיבוד מקדים עם pandas, לצד טופס שמקבל תיאור של מודל ומאפשר לשלוח נתונים או הצעות לבדיקה. הממשק נשען על קוד פייתון פשוט ומציג את התוצאות שנמדדו עבור כל ארכיטקטורה וגודל מודל שנבדק במחקר.
מתאים ל
- בחירת מודל לסוכנים
בדיקה מהירה איזה מודל שומר הכי טוב על הגדרות תפקיד לפני שמקימים סימולציה מורכבת.
- השוואת גדלים שונים
הבנה אם שווה לשלם על מודל ענק כמו Llama 70B מול גרסאות קטנות יותר מאותה משפחה.
- הגשת נתונים למחקר
שליחת תיאור של מודל חדש לבדיקה מול הקהילה שמנהלת את הדירוג.
איפה זה נופל
זה לוח תוצאות סטטי בעיקרו ולא מקום שבו אתם מריצים מודלים של שבעים מיליארד פרמטרים בעצמכם. אין כאן אפשרות לתת פרומפט חופשי ולראות את הסימולציה מתרחשת מול העיניים בזמן אמת. בנוסף, הציון של המודלים תקף רק לסוג המבחנים הספציפי שנבדק במאגר המקורי, כך שאי אפשר להסיק ממנו על ביצועים במשימות כתיבה כלליות או תכנות.
שאלות
נפוצות
האם השימוש בעמוד עולה כסף?
הגישה ללוח הדירוגים חינמית לחלוטין דרך הדפדפן. אתם לא צריכים לשלם דבר כדי לצפות בטבלאות או להשתמש במידע שהחוקרים פרסמו שם.
האם האפליקציה מריצה את המודלים על המחשב שלי?
לא, המודלים עצמם לא רצים אצלכם וגם לא על השרת של העמוד בזמן הגלישה. האפליקציה רק מציגה נתוני ביצועים שנמדדו ונשמרו מראש על גבי הדאטהסט של המחקר.
האם המידע בעמוד רלוונטי לעבודה בעברית?
הבדיקות במאגר נעשו בהקשרים המקוריים של המחקר ולא מדווח שם על התאמה לשפה העברית. כדאי להתייחס לדירוג כמדד כללי ליציבות לוגית ולא להסתמך עליו בעיבוד טקסט עברי.
אפשר להריץ את הלוח הזה באופן עצמאי?
כן, הקוד מבוסס על סביבת דוקר וזמין ברישיון פתוח. אפשר להוריד את הקבצים ולהרים את הממשק מקומית אם רוצים לעבוד עם הנתונים בסביבה סגורה.
איך משתמשים
נכנסים ישירות דרך הדפדפן בלי צורך בהרשמה או התחברות לחשבון כלשהו. הממשק נטען תוך שניות בודדות כי הוא רץ על שרת בסיסי ומציג נתונים שכבר חושבו מראש. אם אתם רוצים רק להסתכל בדירוגים, אין שום תור ומדפדפים בין הטבלאות מיד. במידה ותבחרו להגיש נתונים או תיאור מודל דרך הטופס, המערכת קולטת את הקלט ושולחת אותו הלאה באמצעות שירות דואל ייעודי.
הרישיון
הפרויקט מופץ תחת רישיון MIT שמאפשר שימוש חופשי בקוד, כולל העתקה ושינוי לצרכים פרטיים או מסחריים. אין חשיפה של קבצים פרטיים כי הממשק מציג נתונים ציבוריים מתוך הדאטהסט.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש