judge-arena
רץ בדפדפןAtlaAIרישיון לא דווח2024-11-06
הכלי מציג זירת השוואה עיוורת בין מודלים שמשמשים כשופטים להערכת טקסטים. הוא מתאים למפתחים וחוקרים שרוצים לבחון איכות של מודל שיפוט על תשובות שונות.
- —הורדות בחודש
- 112לייקים
מה זה
מזינים קלט של משתמש, תשובה של בינה מלאכותית, ואפשר להוסיף גם תשובת ייחוס אמיתית לבדיקה. אפשר גם ללחוץ על כפתור הקובייה כדי להטעין דוגמה מוכנה מראש עם פרומפט ותשובות שנקבעו מראש.
המערכת מריצה שני שופטי בינה מלאכותית שונים, כשאחד מהם שמזוהה בקוד הוא prometheus-7b-v2.0. המודלים נשארים מוסתרים בזמן ההרצה, וכל שופט מפיק ציון מספרי וביקורת מילולית מפורטת על התשובה שנבדקה. רק אחרי הצבעה לשופט המוצלח יותר או סימון תיקו, שמות המודלים נחשפים בעמוד.
בנוסף, הממשק כולל לשונית של לוח מובילים שמציג נתונים סטטיסטיים וטבלה של ביצועי השופטים לאורך זמן, לצד אפשרות מתקדמת לעריכת פרומפט השיפוט עצמו.
מתאים ל
- השוואת מודלי שיפוט
בדיקה עיוורת של ביקורות וציונים בין שני מודלים שונים כדי לבחור מודל הערכה לפרויקט.
- בדיקת פרומפט להערכה
שינוי פרומפט השיפוט בממשק ובחינה כיצד הניסוח משפיע על איכות הציונים והנימוקים.
- מעקב בלוח המובילים
צפייה בנתוני הצבעות וסטטיסטיקות כדי לראות איזה מודל שיפוט מוביל בדירוג הכללי.
איפה זה נופל
לשונית הזירה עצמה מוגדרת בקוד הממשק כנסתרת כברירת מחדל, מה שעלול להשאיר רק את לוח המובילים גלוי ללא אפשרות לשפוט ישירות. בנוסף, המודל היחיד שצוין ברקע הוא prometheus-7b-v2.0, כך שלא ברור מול אילו שופטים נוספים מתבצעת ההשוואה בפועל.
הסתמכות על שופט של שבעה מיליארד פרמטרים מוגבלת מטבעה בניתוח טקסטים מורכבים במיוחד, ועריכת הפרומפטים עלולה לשבש את מדדי ההשוואה.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, השימוש פתוח וחינמי לגמרי ישירות דרך הדפדפן. אין צורך להזין אמצעי תשלום ואין מנויים בתשלום.
מה קורה עם הטקסטים שמזינים למערכת?
הקוד כולל שמירה של נתונים, כתובות רשת והצבעות לצורך חישוב הסטטיסטיקות של לוח המובילים. לא כדאי להזין מידע רגיש, פרטי או סודי.
כמה זמן לוקח לקבל תוצאות שיפוט?
הזמן תלוי באורך הטקסט אבל השרת רץ על מעבד רגיל בלבד ללא האצת כרטיס מסך. התהליך עשוי להימשך מספר שניות עד עשרות שניות לכל סיבוב.
האם אפשר להריץ את הזירה מקומית?
הקוד פתוח ומבוסס על ספריית גרדיו רגילה עם קובצי פייתון סטנדרטיים. אפשר להוריד את הקבצים ולהריץ בסביבה מקומית אם מגדירים את המודלים והתלויות.
איך משתמשים
טוענים דוגמה מהירה עם כפתור הקובייה או מקלידים קלט ותשובה ידנית, ואז שולחים לשיפוט. התהליך מתבצע ישירות בדפדפן בלי צורך בהתחברות או יצירת חשבון.
האפליקציה רצה על חומרת מעבד בסיסית, מה שאומר שהסקת המסקנות והפקת הביקורות משני המודלים במקביל עשויה לקחת זמן ולא תהיה מיידית.
הרישיון
הרישיון לא דווח בקוד או בתיעוד הפרויקט. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בפלטים, והזכויות נשארות בידי היוצרים. הטקסטים שמוזנים עשויים להישמר לצורך עדכון טבלת המובילים והנתונים.