low_bit_open_llm_leaderboard

מה זה

הממשק מציג טבלאות נתונים המבוססות על מאגרי התוצאות והבקשות של אינטל. במקום להריץ טקסט מול מודל, מזינים בחיפוש שמות של מודלים או מסננים לפי כמות פרמטרים במיליארדים, שיטות קוונטיזציה וסכמות חישוב. הפלט שמתקבל הוא טבלת השוואה שמציגה את הציונים, הגדלים ומאפייני הריצה של כל מודל.

הנתונים בלוח נשענים על מודלים פתוחים דוגמת LexPodLM-13B, סדרת דגמי Marx-3B ודגמים נוספים. המערכת כוללת גם אזור להגשת מודלים חדשים לבדיקה, שבו מגדירים את שם המודל, מזהה הבסיס, סוג החישוב ושיטת הדחיסה כדי להכניס אותו לתור הערכה אוטומטי.

מתאים ל

• בדיקת מודלים מכווצים

  סינון לפי גודל ושיטת קוונטיזציה לאיתור מודל מתאים לחומרה מוגבלת.

• הגשת מודל לתור בדיקה

  הזנת פרטי מודל פתוח כדי להכניס אותו לתהליך מדידה ודירוג במאגר.

• השוואת ביצועי דחיסה

  בחינת ציוני המודלים השונים בטבלה כדי לראות איך סכמות שונות משפיעות על התוצאה.

איפה זה נופל

זהו לוח השוואה סטטי בעיקרו ואי אפשר להתנסות בו בהרצת פרומפטים או צ'אט חי מול המודלים. הטבלאות מציגות רק מודלים שכבר עברו תהליך הערכה או הוגשו למאגר, כך שאי אפשר להסיק מהן על ביצועי מודל שלא קיים בדאטהסט. בנוסף, המדדים מתמקדים בעיקר במודלים מכווצים, ולכן הם לא משקפים בהכרח את יכולות המודלים בגודלם המקורי המלא.

איך משתמשים

טוענים את העמוד ומשתמשים ישירות בתיבת החיפוש, בסליידרים של טווח גודל המודלים ובתיבות הסימון כדי לסנן את הטבלה. פעולות אלו מתבצעות מיידית בדפדפן מול הנתונים שנטענו. אם רוצים להגיש מודל חדש לבדיקה או להערכה, יש להתחבר לחשבון באמצעות כפתור ייעודי, למלא את פרטי המודל ולשלוח לתור. האפליקציה עצמה רצה על מעבד בסיסי, כך שטעינת הממשק והסינון תלויים בעומס על המופע, אך היא אינה מריצה את ההערכות הכבדות בזמן אמת בתוך הדפדפן.

הרישיון

הקוד פתוח תחת רישיון Apache 2.0 המאפשר שימוש, שינוי והפצה כולל לצרכים מסחריים. מאגרי המידע והתוצאות של אינטל מנוהלים בנפרד, וכל מודל שמופיע בלוח כפוף לתנאי הרישיון המקוריים שלו.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗