euro-llm-leaderboard

מה זה

בעמוד הראשי מוצגת טבלה של מודלים שנבדקו, לצד ציונים במשימות ובמדדים שונים. אפשר לסנן את הרשימה לפי גודל מודל, רמת דיוק כמו שמונה ביט או שש עשרה ביט, סוג המודל, או לחפש שם ספציפי בתיבת החיפוש.

בלשונית ההגשה מזינים פרטים על מודל חדש מהמאגר של חיבוק פנים: שם המודל, מזהה גרסה, סוג המשקולות ומודל בסיס במקרה של מתאם. הקוד מושך קובצי תוצאות ובקשות ממאגרים ייעודיים, מעבד אותם לטבלאות נתונים דרך פנדס, ומעדכן את רשימות המודלים שממתינים להרצה, אלה שרצים כעת וכאלה שהסתיימו.

מתאים ל

• השוואת ביצועי מודלים

  סינון ומיון של מודלי שפה אירופיים לפי גודל, דיוק וציוני מבחנים שונים.

• הגשת מודל לבדיקה

  הזנת פרטי מודל ממאגר חיבוק פנים כדי להכניס אותו לתור הבדיקות של הלוח.

• מעקב אחר סטטוס הערכה

  בדיקה אם מודל שהוגש ממתין בתור, נמצא כרגע בריצה או שסיים להיבדק.

איפה זה נופל

הבעיה המיידית היא שהכלי מושבת עם שגיאת מערכת, כך שאי אפשר להשתמש בו כרגע. מעבר לכך, הוא לא מריץ שיחה עם מודלים ולא בודק טקסטים חופשיים, אלא רק מציג תוצאות של מבחנים קבועים מראש. אין כאן התייחסות למודלים בעברית או לשפות שאינן אירופיות, ואי אפשר לדעת מתוך הממשק איך המודל מתנהג במציאות מעבר לציונים היבשים.

איך משתמשים

גולשים לעמוד, אך כרגע הוא נמצא במצב שגיאת ריצה ולא נטען בדפדפן. בזמן פעילות רגילה אין צורך בהתקנה, פשוט פותחים את הממשק, מעיינים בטבלה או ממלאים את שדות הטופס ולוחצים על כפתור ההגשה. השרת מוגדר על שדרוג מעבד, כך שפעולות סינון וטעינת נתונים אמורות לפעול מהר, אך בדיקות הביצועים עצמן מנוהלות בתור נפרד.

הרישיון

הקוד פתוח תחת רישיון אפאצ'י 2.0. הרישיון מאפשר שימוש חופשי ושינוי של הקוד, אך הנתונים והציונים של המודלים המוגשים נשמרים במאגרים ציבוריים מקושרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗