UncheatableEval

מה זה

במקום להריץ מודלים בעצמכם, אתם מקבלים לוח נתונים מוכן שמשווה ביצועים על בסיס מאגרי מידע קיימים. בוחרים תקופת זמן, מטריקה רצויה, וגודל מודל לפי כמות מיליארדי הפרמטרים. התוצאה היא טבלת השוואה עם צביעה מותאמת לפי ציונים ממוצעים ומבחנים נפרדים.

הממשק מחלק את הבדיקות לארבעה תחומי ידע עיקריים: קוד, מדע, ידע כללי ומבחנים רב לשוניים. חוץ מהטבלה הרגילה, יש לשונית שלמה להקשר ארוך (Long Context), שמציגה גרפים של Plotly על חוקי דחיסה (Scaling Laws) וחישוב חזית פארטו מול גודל המודל.

מתאים ל

• השוואת ביצועי קוד ומדע

  סינון מודלים לפי ביצועים במבחני תכנות ומדע כדי לבחור את המודל המתאים למשימה שלכם.

• ניתוח יכולות הקשר ארוך

  בדיקת יחס הדחיסה וחוקי הסקיילינג בלשונית Long Context לפי פרמטרים שונים של מודלים.

• בדיקת מבחנים רב לשוניים

  השוואת תוצאות במאגרי מידע שאינם רק באנגלית לצורך עבודה בשפות נוספות.

איפה זה נופל

הכלי לא מריץ בדיקות על מודל חדש שתעלו אליו, ואין בו שדה להזנת מודל אישי לבדיקה במקום. אתם תלויים לחלוטין ברשימת המודלים והנתונים שכבר הוכנסו מראש למערכת. אם המודל שאתם עובדים איתו לא נבדק על ידי יוצרי הפרויקט, הלוח לא יעזור לכם.

איך משתמשים

נכנסים לדפדפן והעמוד נטען מיד, בלי צורך בהתחברות או יצירת חשבון. הממשק מבוסס על שרתי מעבד בסיסיים (cpu-basic) בחינם, אבל מאחר שהוא רק מציג ומסנן נתונים מחושבים מראש ולא מריץ מודלים חיים, הסינון והחלפת התצוגות קורים כמעט מיד וללא תור.

הרישיון

הפרויקט מפורסם תחת רישיון MIT חופשי. מותר להשתמש בקוד, להעתיק אותו ולהריץ עותק עצמאי של הלוח גם לצרכים מסחריים. אין העלאת קבצים פרטיים למערכת, כך שאין חשש לזכויות יוצרים על המידע שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗