open_multilingual_llm_leaderboard
רץ בדפדפןuonlpרישיון לא דווח2023-06-04
לוח תוצאות שמרכז ציוני מבחנים למודלי שפה בשפות שונות. המקום מתאים למי שמחפש השוואה ישירה בין מודלים לפי שפה ומדדי ביצועים מוכרים.
- —הורדות בחודש
- 56לייקים
מה זה
אתם לא מריצים כאן מודלים ולא מייצרים טקסט חדש, אלא מקבלים טבלה שמשווה בין מודלים שונים. הממשק מבוסס על נתונים שנאספו מראש ומציג עמודות עבור שם המודל, השפה, קוד השפה, ציון ממוצע, ומבחנים ספציפיים: ARC, HellaSwag, MMLU ו־TruthfulQA, לצד הערות.
מתחת למכסה המנוע הקוד טוען קובצי נתונים מקומיים בעזרת pandas ומציג אותם בתוך טבלת נתונים של Gradio. שורת חיפוש מובנית מאפשרת לסנן את הרשומות לפי פרמטרים שונים מתוך הטבלה המלאה שמוחזקת ברקע.
מתאים ל
- השוואת מודלים לפי שפה
בדיקת ציונים של מודלי שפה שונים במבחנים סטנדרטיים בשפות שאינן רק אנגלית.
- סינון לפי מבחני ביצועים
חיפוש מודלים לפי תוצאות במבחני הערכה מוכרים כמו MMLU, ARC ו־TruthfulQA.
- בחירת תשתית לפרויקט
הצלבת נתוני ממוצע כדי להחליט איזה מודל פתוח להוריד ולהריץ במערכת שלכם.
איפה זה נופל
הבעיה המיידית היא הסטטוס הנוכחי: העמוד מציג שגיאת ריצה, כך שאי אפשר לגשת לטבלה בדפדפן. בנוסף, לא מדובר בכלי הרצה שמציג את ביצועי המודל בזמן אמת, אלא בסיכום מבחנים ספציפיים שהוזנו מראש. אם אתם מחפשים לבחון את המודל על טקסט חופשי משלכם, זה לא המקום.
שאלות
נפוצות
האם הכלי עובד עכשיו בדפדפן?
לא. הסטטוס של המרחב הוא שגיאת ריצה, ולכן אי אפשר לצפות בטבלה כרגע.
האם אפשר להריץ כאן מודלים ולשאול אותם שאלות?
לא, זהו לוח תוצאות בלבד. הממשק מציג טבלה עם ציונים של מבחנים שנערכו מראש ולא ממשק צ'אט.
האם צריך לשלם או להירשם כדי לראות את הנתונים?
לא. מדובר בדף פתוח שאינו דורש תשלום או התחברות למערכת.
איך משתמשים
נכנסים לעמוד ומשתמשים בתיבת החיפוש כדי לסנן מודלים או שפות. הנתונים מוצגים ישירות בטבלה בלי צורך להעלות קבצים, להתחבר לחשבון או להמתין בתור עיבוד. השרת מוגדר על חומרת מעבד בסיסית, מה שמספיק לסינון טבלאות פשוטות, אבל נכון לעכשיו העמוד מדווח על שגיאת ריצה ולא נטען בפועל.
הרישיון
הרישיון של המרחב לא דווח כלל. לא ברור באילו תנאים מותר להשתמש בנתונים המוצגים, אם כי אתם לא מעלים לכאן שום תוכן אישי כדי להשתמש בטבלה.