gsaivinay/open_llm_leaderboard
רץ בדפדפןgsaivinayapache-2.02023-07-24
לוח תוצאות שמרכז ציוני מבחנים למודלי שפה פתוחים ומאפשר להגיש מודלים חדשים לבדיקה. הוא מיועד לחוקרים ומפתחים שרוצים להשוות ביצועים בין ארכיטקטורות וגדלים שונים.
- —הורדות בחודש
- 52לייקים
מה זה
הממשק מציג טבלאות נתונים המבוססות על מאגרי מידע של ביצועי מודלים, תור בקשות ותוצאות הערכה. אתם מקבלים רשימות ממוינות עם ציונים, ומזינים שמות של מודלים מתוך המאגר הציבורי של האגינג פייס כדי לבקש עבורם הרצה במבחני ההשוואה.
מתחת למכסה המנוע לא רץ מודל שפה שמייצר טקסט, אלא קוד פייתון שטוען נתוני ציונים מוכנים לתוך טבלאות של גראדיו. המערכת כוללת מנגנון תזמון ברקע שמעדכן נתונים, מסננים לפי סוג מודל, גודל ודיוק חישובי, וחלוקה ללשוניות של ביצועים, מידע כללי והגשת בקשות הערכה.
ברשימת המודלים שמקושרים אליה נמצאים מודלים פתוחים כמו Bean 3B, סדרת Marx 3B וגרסאות מותאמות כמו LexPodLM 13B. הלוח מרכז את תוצאות המדידה שלהם מול מדדים סטנדרטיים.
מתאים ל
- השוואת ביצועי מודלים
סינון ומיון מודלי שפה פתוחים לפי מבחני ביצועים, גודל ורמת דיוק כדי לבחור גרסה מתאימה.
- מעקב אחרי תור בדיקות
בדיקת סטטוס של מודלים שנמצאים בהמתנה, בתהליך עיבוד או שסיימו את בדיקות הביצועים.
- שליחת מודל להערכה
הזנת מזהה של מודל מתוך האגינג פייס כדי להכניס אותו לתור הבדיקות הציבורי.
איפה זה נופל
הבעיה המרכזית היא שהעמוד נמצא במצב של שגיאת ריצה, ולכן אי אפשר להשתמש בו כרגע בפועל. מעבר לזה, הממשק לא בוחן מודלים במקום אלא רק מנהל תור בקשות ושואב תוצאות ממאגרים חיצוניים, כך שאי אפשר לצפות לקבל ציון מיידי למודל חדש.
חלק מהמודלים חסומים להגשה באמצעות רשימה מוגדרת מראש בקוד, כך שלא כל מה שקיים במאגר הציבורי יתקבל לבדיקה.
שאלות
נפוצות
האם השימוש בלוח התוצאות עולה כסף?
לא, הגישה לטבלאות והגשת מודלים לבדיקה נעשות בחינם. הממשק פועל במסגרת משאבי קהילה בסיסיים ואינו דורש תשלום כלשהו. צריך רק קישור תקין למודל שיושב במאגר הציבורי כדי לבקש עבורו ריצה.
למה מופיעה שגיאה כשאני פותח את הדף?
האפליקציה נמצאת כרגע בסטטוס שגיאת זמן ריצה, ולכן היא לא נטענת כשנכנסים אליה. הקוד שלה לא הצליח לרוץ עד הסוף בהפעלה האחרונה שלו. עד שמי שמתחזק אותה לא יתקן את הבעיה או יפעיל אותה מחדש, אי אפשר להשתמש בה.
האם הכלי מריץ את מודלי השפה ישירות בדפדפן?
לא, אין כאן אפשרות לשוחח עם מודל או לייצר טקסט בזמן אמת. האפליקציה רק מציגה טבלאות נתונים עם ציונים של מבחנים שנעשו בעבר. החומרה שהוקצתה לה היא מעבד בסיסי בלבד, שלא מסוגל להריץ מודלים של מיליארדי פרמטרים.
מה קורה לקבצים או לקישורים שאני מגיש?
אתם לא מעלים קבצים מקומיים אלא רק שולחים מזהה של מודל שכבר פורסם ברשת. המזהה הזה נכנס לתור ציבורי שמנוהל במאגר הנתונים של הפרויקט. כל המידע שמוזן שם גלוי לחלוטין לכל מי שצופה בטבלאות.
איך משתמשים
נכנסים לעמוד ולוחצים על הלשוניות כדי לנווט בין טבלת המובילים לבין טופס ההגשה. בטבלת ההשוואה אפשר לסנן מודלים באמצעות תיבות סימון לפי גודל, סוג ורמת דיוק, או לחפש מודל מסוים בשורת החיפוש.
התוכנה מוגדרת על מעבד בסיסי, מה שמספיק לסינון והצגת טבלאות נתונים קיימות אבל לא מריץ את החישובים הכבדים של המודלים עצמם. עם זאת, נכון לעכשיו מוגדר סטטוס שגיאת זמן ריצה, כך שסביר שהעמוד יקרוס או לא ייטען בדפדפן עד שיופעל מחדש.
הרישיון
הקוד מופץ תחת רישיון אפאצ'י 2.0 שמתיר שימוש, שינוי והפצה, כולל לצרכים מסחריים. מאגרי המידע של התוצאות והבקשות נשמרים במאגרים ייעודיים, וכל נתוני המודלים והציונים שמוגשים מפורסמים באופן פומבי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים