TRUEBench — הדגמה

מה זה

לא מריצים פה פרומפטים ישירים ואין כאן ממשק שיחה. העמוד מציג טבלאות דירוג של מודלים ומייצר גרפים ויזואליים, כולל תרשימי מכ"ם לפי תחומים ולפי שפות, לצד פיזור נתונים שבוחן קשר בין אורך התשובה לתוצאות. המידע מגיע ממאגר נתונים ייעודי של סמסונג שנטען ישירות למערכת.

בלשונית ההגשה ממלאים פרטים טכניים על מודל שרוצים להעמיד למבחן. מזינים כתובת מייל, שם מודל, סוג חשיבה ודיוק, ומעלים קובץ הגדרות או מדביקים קוד שממיר את הפרטים למבנה נתונים פנימי. בסיום התהליך המודל נכנס לתור ההערכה של הפרויקט.

מתאים ל

• השוואת מודלים לפי שפות

  צפייה בגרף מכ"ם שמציג פערי ביצוע של חמשת המודלים המובילים בשפות שונות שנבדקו.

• ניתוח אורך פלט

  בדיקת הקשר בין אורך התשובות של המודל לבין הציון שקיבל בקטגוריות שונות.

• הגשת מודל לבדיקה

  שליחת מפרט של מודל פיתוח כדי להכניס אותו לתור ההערכה של הבנצ'מרק.

איפה זה נופל

זהו לוח מעקב ולא סביבת הרצה, כך שאי אפשר לבחון איך מודל מסוים עונה בפועל על שאלות חופשיות. נתוני ההשוואה מוגבלים לחלוטין למה שנבדק במסגרת הדאטהסט הספציפי, ואין פירוט בקוד לגבי אילו שפות נתמכות בדיוק או מה גודל המדגם בכל קטגוריה. שליחת מודל חדש אינה נותנת ציון מיידי, אלא רק רושמת אותו לתור חיצוני שזמן הטיפול בו אינו מוגדר.

איך משתמשים

נכנסים לעמוד דרך הדפדפן וכל נתוני הטבלאות והגרפים נטענים מיד. הממשק רץ על חומרת מעבד בסיסית, אבל מאחר שמדובר בהצגת נתונים מוכנים מראש, הדפדוף בין הלשוניות ובחירת המודלים בתרשימים עובדים בלי עיכוב מיוחד.

אם רוצים רק לצפות בתוצאות, אין צורך להזדהות. כדי להגיש מודל חדש לבדיקה צריך ללחוץ על כפתור התחברות לחשבון, למלא את המאפיינים הטכניים ולשלוח את הבקשה לרשימת ההמתנה.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. מאגר הנתונים שעליו מתבססות התוצאות מנוהל בנפרד תחת SamsungResearch, וכל הגשה של מודל נרשמת למאגרי התור והתוצאות של המיזם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗