llm-trustworthy-leaderboard

מה זה

במקום להריץ בדיקות בעצמכם, אתם מקבלים כאן טבלת נתונים מסודרת שמשווה בין מודלים שונים. הממשק מציג ציונים שמבוססים על הדאטהסט DecodingTrust לצד בקשות שנלקחות ממאגר ההערכות של לוח המודלים הפתוח. אפשר לסנן את הטבלה הראשית לפי סוג המודל, רמת הדיוק, גודל הפרמטרים ועמודות תוצאה ספציפיות, או לחפש שם מסוים בשורת החיפוש.

אם אתם רוצים לבחון מודל שפיתחתם, עוברים ללשונית ההגשה ומזינים את פרטי המודל ישירות ממאגר המודלים הציבורי. מזינים את שם המאגר, ה־commit הספציפי, סוג המשקולות ורמת הדיוק, ושולחים את הבקשה. המערכת מציגה גם את התור הקיים ומחלקת אותו למודלים שממתינים בתור, מודלים שנבדקים כרגע ומודלים שכבר סיימו את ההערכה.

מתאים ל

• השוואת רמת בטיחות של מודלים

  סינון ומיון מודלים קיימים לפי ציוני האמינות והבטיחות שנמדדו במבחן DecodingTrust.

• הגשת מודל שפה למדידה

  הזנת נתיב המודל ופרטי הדיוק כדי להכניס אותו לתור הבדיקות האוטומטי.

• מעקב אחרי סטטוס הערכה

  בדיקת התקדמות מודלים שהוגשו דרך רשימות הממתינים, המודלים שרצים וכאלה שסיימו.

איפה זה נופל

זהו לוח השוואתי בלבד ולא סביבת בדיקה חיה של מודלים. אי אפשר לשוחח כאן עם המודלים, להזין פרומפטים ישירים או לבחון בעצמכם איך הם מגיבים למקרי קצה בזמן אמת.

התוצאות בטבלה מוגבלות למדדים של DecodingTrust. מודל שמקבל ציון גבוה כאן נבדק רק לפי תרחישי המבחן הספציפיים האלה, ולא בהכרח מתנהג בצורה בטוחה בתרחישים אחרים או בשיחה חופשית.

איך משתמשים

טעינת הטבלה מיידית כי הדף רץ על שרת cpu-upgrade ומציג נתונים שכבר חושבו ונשמרו מראש. אין צורך להמתין לעיבוד נתונים כשמעיינים בטבלה או מפעילים מסננים.

שליחת מודל חדש דורשת מילוי טופס בלחיצה על כפתור ייעודי. ההערכה עצמה לא מתבצעת בדפדפן באותו הרגע, אלא נכנסת לתור הערכות וממתינה לריצה במאגר נפרד.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 ומאפשר שימוש חופשי, שינוי והפצה כולל שימוש מסחרי. פרטי המודלים והנתונים שמוגשים דרך הטופס נרשמים במאגרים ציבוריים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗