open_cn_llm_leaderboard
רץ בדפדפןBAAIapache-2.02024-01-23
לוח תוצאות שמרכז ציוני מבחנים למודלי שפה בסינית, ומאפשר להגיש מודלים חדשים להערכה. הממשק מיועד למי שמפתח או בוחר מודל שפה ומחפש נתוני ביצועים השוואתיים.
- —הורדות בחודש
- 128לייקים
מה זה
בעמוד הראשי לא מזינים טקסט לעיבוד ולא מקבלים תשובות ממודל. במקום זה מוצגת טבלת נתונים גדולה עם מודלים שונים, כמו Yi-34B או NexoNimbus-7B, לצד הציונים שלהם במבחני ביצועים בסינית, סוג המשקולות והדיוק שלהם. אפשר לסנן את הנתונים לפי דיוק, גודל המודל וסוג המערכת, או לחפש מודל ספציפי בשורת החיפוש.
האפליקציה כוללת גם גרפים שמציגים את ממוצע הציונים המובילים לאורך זמן מול קו בסיס אנושי. בנוסף, יש לשונית הגשה שבה מזינים שם מודל, גרסת קומיט, סוג משקולות ומודל בסיס, כדי להכניס מודל לרשימת ההמתנה לבדיקה.
מאחורי הקלעים הקוד שואב נתונים מכמה מאגרי דאטה חיצוניים שמכילים תוצאות הערכה ובקשות בדיקה. השרת מעדכן את הקבצים באופן קבוע ומציג אותם בעזרת ספריות פנדס וגרדיו.
מתאים ל
- השוואת מודלים בסינית
בדיקת ביצועים ודירוגים של מודלי שפה שונים שמתמחים בשפה הסינית מתוך טבלה מרכזת.
- מעקב אחרי תוצאות היסטוריות
צפייה בגרפים שמציגים את התקדמות הציונים המובילים ביחס ליכולת אנושית לאורך זמן.
- הגשת מודל לבדיקת ביצועים
שליחת מודל חדש לתור ההערכה כדי לקבל עליו ציונים רשמיים שיופיעו בטבלה הציבורית.
איפה זה נופל
זהו לוח תוצאות בלבד, ולא ממשק שיחה או הרצה של מודלים. אי אפשר לבדוק כאן איך המודלים מתנסחים בפועל, ואין אפשרות להריץ עליהם פרומפטים כדי להתרשם מאיכות התוכן בעברית או באנגלית.
ההערכות מתמקדות בעיקר ביכולות בשפה הסינית ואינן משקפות התאמה למשימות מקומיות אחרות. בנוסף, הנתונים מוזנים לפי ריצות מבחן קבועות מראש, כך שאין שליטה על אופן ביצוע הבדיקות או על הפרמטרים שנקבעו בהן.
שאלות
נפוצות
האם אפשר להריץ כאן מודל ולשוחח איתו?
לא, הממשק לא מריץ מודלים באופן חי ולא מקבל טקסט לעיבוד. מדובר בטבלת תוצאות שמרכזת נתונים סטטיים ומבחני ביצועים שחושבו מראש, לצד גרפים שמתארים את הציונים המובילים.
האם השימוש בלוח התוצאות כרוך בתשלום?
העיון בנתונים, הסינון בטבלה והגשת מודלים להערכה פתוחים לגמרי בחינם. אין צורך לשלם או להזין פרטי אשראי כדי לגשת למידע או לשלוח מודל לבדיקה.
כמה זמן לוקח לקבל תוצאות של מודל חדש?
ההגשה עצמה מיידית, אבל הבדיקה בפועל לא מתבצעת במקום. המודל נכנס לתור המתנה שמוצג בלשונית הייעודית, והתוצאות יתעדכנו בטבלה רק אחרי שמערכת הבדיקות תסיים להריץ עליו את המבחנים.
האם אפשר להריץ את האפליקציה הזאת מקומית?
כן, קוד המקור זמין תחת רישיון apache-2.0 ונשען על פייתון וגרדיו. אפשר להוריד את הקוד, להתקין את התלויות ולהריץ אותו במחשב, אך עדיין תצטרכו גישה למאגרי הנתונים שמהם הוא מושך את המידע.
איך משתמשים
טעינת הטבלאות והגרפים נעשית מיד עם פתיחת העמוד, בלי צורך בהתחברות או בהרשמה. השימוש השוטף הוא עיון בנתונים וסינון בעזרת תיבות הסימון, והתגובה בדפדפן מהירה מאוד כי היא נשענת על שרת במעבד משודרג שטוען נתונים שכבר חושבו מראש.
אם רוצים להגיש מודל חדש לבדיקה, ממלאים את שדות הטקסט והתפריטים בלשונית ההגשה ולוחצים על כפתור השליחה. הבדיקה עצמה לא קורית באותו רגע, אלא נכנסת לתור משימות שמנוהל במאגר נפרד.
הרישיון
הקוד של האפליקציה מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד. נתוני הביצועים והבקשות מנוהלים במאגרי דאטהסט ייעודיים, ופרטי המודלים שמוגשים דרך הטופס נשמרים ברישומי הבדיקות הציבוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים