MMLU-Pro — הדגמה

מה זה

בעמוד הראשי מקבלים טבלת נתונים מסודרת של ביצועי מודלים שונים. אפשר לסנן את מה שרואים לפי שמות מודלים בתיבת החיפוש, לפי גודל מודל במיליארדי פרמטרים בעזרת סליידרים, או לפי נושאי בחינה ספציפיים מתוך תיבות סימון. אם יש עדכונים אחרונים, כפתור הרענון מושך את הנתונים מחדש אל תוך הטבלה.

בלשונית ההגשה אתם שולחים מודל לבדיקה. המערכת קוראת קובצי תוצאות במבנה json שכוללים את נתיב המודל, גרסת הריוויז'ן שלו, סוג הדיוק כמו float16 או 8bit, ורשימת ציונים לפי משימות. הקוד מאחורי הקלעים בודק את תקינות הבקשה, מנהל תור בדיקות וממיר את התוצאות לשורות בטבלה הראשית.

מתאים ל

• השוואת ביצועי מודלים

  סינון הטבלה לפי נושאים וצפייה בדירוגי מודלים שונים במבחן.

• סינון לפי גודל מודל

  שימוש בסליידרים כדי לאתר מודלים בטווח פרמטרים מוגדר.

• הגשת תוצאות למודל חדש

  הזנת פרטי מודל בלשונית ההגשה כדי להוסיף אותו לתור הבדיקה.

איפה זה נופל

זהו לוח תוצאות בלבד ולא ממשק להרצת שיחות או שאלות מול המודלים בזמן אמת. אתם לא יכולים לבדוק כאן טקסט אישי או להזין פרומפטים. בנוסף, המערכת נשענת על קובצי תוצאות מוגדרים מראש, כך שאי אפשר לאמת דרך המסך את תהליך ההרצה של המבחן עצמו אלא רק את הניקוד שהוזן.

איך משתמשים

נכנסים לדפדפן והנתונים מוצגים מיד. גרירת הסליידרים של הגודל וסינון הנושאים עובדים מקומית בממשק ומעדכנים את הטבלה בלי המתנה. העמוד רץ על חומרת מעבד משודרגת, כך שטעינת המידע שוטפת. אם אתם רוצים רק לעיין בתוצאות, אין צורך בהתחברות. הגשת מודל חדש דורשת מילוי פרטי המודל בלשונית הייעודית, ושם הקוד מוסיף את הבקשה לתור.

הרישיון

הפרויקט מפורסם ברישיון apache-2.0, שמאפשר שימוש חופשי בקוד, התאמה שלו והרצה עצמאית. לגבי תוצאות המודלים שמוגשות, המידע מוזן ללוח ציבורי וגלוי לכל מי שצופה בעמוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗