raft-leaderboard

מה זה

הדף מציג טבלת דירוג עבור מודלי שפה שמתחרים בבנצ'מרק RAFT. המטרה של המבחן הזה היא לבדוק יכולות סיווג מבוססות טקסט עם מעט מאוד דוגמאות, בדיוק חמישים דוגמאות לכל משימה, בסביבה שכוללת שימוש באחזור מידע ומבחן חבוי שנבדק מול ביצועים של עוזרי מחקר אנושיים.

בקוד רואים שימוש בחבילות פנדס ונאמפיי להצגת נתונים, לצד קריאות ישירות למאגרי המידע ought/raft ו־ought/raft-submission מתוך Hugging Face. הממשק מושך את רשימת המערכים וההגשות כדי לייצר טבלה השוואתית, כך שמי שנכנס מקבל תמונת מצב של ציוני המודלים השונים שנבחנו על אותן משימות מוגדרות.

מתאים ל

• בדיקת ביצועי מודלים

  צפייה בציוני מודלים שונים במשימות סיווג עם חמישים דוגמאות בלבד.

• השוואה מול יכולת אנושית

  בחינת הפער בין תוצאות המערכות לבין ביצועי עוזרי מחקר.

• מעקב אחר הגשות RAFT

  סקירת הדירוגים שנוספו למאגר ought/raft-submission.

איפה זה נופל

הבעיה המיידית היא שהיישום פשוט קרס ולא רץ כרגע. מעבר לזה, לא מדובר בכלי להרצת מודלים או לבדיקת טקסטים שלכם, אלא רק בלוח סטטי של תוצאות עבור חמישים דוגמאות למשימה. מי שמצפה להעלות נתונים משלו ולראות תחזיות בזמן אמת יגלה שאין כאן מנוע חישוב פעיל.

איך משתמשים

בפועל אין כאן כרגע שום אינטראקציה אפשרית. הדף מוגדר על חומרת מעבד בסיסית, אבל הוא נמצא במצב של שגיאת ריצה. כשתפתחו אותו בדפדפן תראו הודעת שגיאה במקום את ממשק הלוח. אם הקוד יתוקן, העבודה איתו היא פשוט גלילה וקריאת נתוני הטבלה שנטענים מהמאגרים, בלי צורך בחשבון או בהזנת קלט אישי.

הרישיון

היוצרים לא הגדירו רישיון בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לשימוש חוזר בקוד או בתוכן המוצג, ולא ידוע מה הזכויות המשפטיות לגבי החומרים.

הרישיון המלא ב־Hugging Face ↗