european-llm-leaderboard

מה זה

לא מריצים כאן מודלים ולא מזינים טקסט לעיבוד. במקום זה מקבלים טבלאות נתונים אינטראקטיביות שמשוות בין ביצועי מודלים שונים על פני ארבע לשוניות, כולל תצוגה ראשית, מבחני zero-shot, לשונית שונות ולשונית של MT-Bench.

המבחנים מתבססים על המשימות המוכרות של לוח התוצאות הפתוח, MMLU, ARC, HellaSwag, GSM8k ו־TruthfulQA, שתורגמו בתרגום מכונה פנימי, לצד מבחן belebele של Meta. אפשר לסנן את הנתונים לפי סוגי מודלים, גודל המודל, שפות ומשימות, או לחפש שם של מודל ספציפי בתיבת החיפוש.

מתאים ל

• השוואת מודלים בשפות שונות

  סינון הטבלאות לפי שפה כדי לבדוק איזה מודל מוביל במשימות תרגום והבנה.

• בדיקת ביצועי zero-shot

  מעבר ללשונית הייעודית כדי לראות ציוני מודלים ללא דוגמאות מקדימות.

• סינון לפי גודל מודל

  שימוש בסליידר כדי לאתר מודלים קלים שמתאימים למגבלות חומרה מסוימות.

איפה זה נופל

הנתונים עבור חמש מתוך שש המשימות נשענים על תרגום מכונה פנימי של מבחנים באנגלית, ולא על מבחנים שנכתבו במקור בכל שפה. זה אומר שתרגום לקוי עלול להטות את הציון של המודל.

בנוסף, הכלי מציג רק השוואת ציונים ולא מאפשר לבדוק את המודלים עצמם בפועל או לראות את התשובות המלאות שהם ייצרו.

איך משתמשים

טעינת הדף מציגה ישירות את הטבלאות בלי צורך בהתחברות או בהרשמה. לוחצים על תיבות הסימון כדי לבחור שפות, סוגי משימות או טווח גודל מודלים, ומקלידים שם מודל כדי לסנן.

השרת רץ על תשתית של מעבד בסיסי, אבל מאחר שמדובר בסינון נתונים מוכנים מראש בטבלה ולא בהרצת מודל שפה כבד, הסינונים והמעבר בין הלשוניות מתבצעים מיידית.

הרישיון

הרישיון של הפרויקט מוגדר כלא ידוע בקוד ובתיעוד. המשמעות היא שאין הרשאה ברורה להעתיק את קוד המקור או להשתמש בנתוני הטבלאות לשימוש מסחרי, אם כי הצפייה בנתונים דרך הדפדפן חופשית לחלוטין.

הרישיון המלא ב־Hugging Face ↗