bigcode-models-leaderboard
רץ בדפדפןbigcodeרישיון לא דווח2023-07-24
לוח תוצאות שמרכז מבחני ביצועים של מודלי קוד פתוחים. הוא מיועד למפתחים וחוקרים שרוצים לבחור מודל לכתיבת קוד לפי מדדים כמותיים.
- —הורדות בחודש
- 1,517לייקים
מה זה
אתם לא מריצים כאן קוד ולא מעלים קבצים לעיבוד. הדף מציג טבלת השוואה ותרשימים שמסכמים תוצאות הערכה של עשרות מודלים שנועדו לכתיבת תוכנה, כולל משפחות כמו CodeLlama, DeepSeek, StarCoder ו־WizardCoder.
הממשק בנוי סביב טבלת נתונים שאפשר לסנן, לחפש בה מודל ספציפי, ולבחור אילו עמודות מדדים להציג. לצד הטבלה יש לשונית עם תרשימי ביצועים שמציגים גרפים של batch size שונים, לשונית מידע כללי, ולשונית שמסבירה איך להגיש תוצאות של מודלים חדשים למעקב.
מתאים ל
- בחירת מודל לפרויקט
סינון והשוואה בין עשרות מודלי שפה לקוד כדי לבחור את הגרסה המובילה לפי מדדי ביצוע.
- בדיקת גדלי מודלים
השוואה בין גרסאות קלות של מיליארדי פרמטרים בודדים לבין מודלי ענק של עשרות מיליארדים.
- הגשת מודל חדש
קריאת ההנחיות בלשונית ההגשה והזנת תוצאות הערכה של מודל קוד חדש לטבלה הציבורית.
איפה זה נופל
זהו לוח השוואה בלבד ולא סביבת פיתוח. אי אפשר לבדוק כאן השלמת קוד, לכתוב פרומפטים או לבחון איך המודלים מתמודדים עם שפת תכנות ספציפית בפועל. מעבר לזה, ההגשה של תוצאות חדשות היא חצי אוטומטית לפי ההגדרות, כך שמודלים חדשים לא מופיעים בטבלה ברגע שיצאו אלא רק אחרי בדיקה והזנה.
שאלות
נפוצות
האם השימוש בלוח התוצאות עולה כסף?
לא, הגישה חופשית לגמרי ישירות מהדפדפן. אין צורך לשלם, להזין פרטי אשראי או להירשם לחשבון כדי לראות את הנתונים והגרפים.
מה קורה לקוד או לקבצים שלי כשאני משתמש בדף?
אתם לא מעלים שום קובץ או קוד למערכת הזו. הממשק משמש רק לצפייה במדדים ובתוצאות מבחנים שכבר חושבו מראש, ולכן המידע שלכם כלל לא מעורב.
האם אפשר להריץ כאן מודל ולבקש ממנו לתקן קוד?
לא, הדף הזה הוא טבלת השוואה בלבד ולא ממשק שיחה או השלמת קוד. אם אתם רוצים להשתמש במודל מסוים מהרשימה, תצטרכו להוריד אותו או להריץ אותו דרך סביבה ייעודית שתומכת בו.
איך משתמשים
נכנסים לדפדפן והנתונים כבר שם, בלי הרשמה ובלי תור. הכל רץ על חומרת מעבד בסיסית כי העמוד רק מציג נתונים מוכנים מראש בטבלאות Gradio ולא מפעיל שום מודל כבד בזמן אמת. לחיצה על תיבות הסימון מעדכנת את העמודות המוצגות, ושורת החיפוש מסננת שורות באופן מיידי.
הרישיון
הרישיון של המרחב לא דווח. בפועל אתם רק צופים בתוצאות מבחנים פומביות, כך שאין כאן העלאת קוד פרטי או יצירת תוכן שדורשת רישוי, אבל אם תרצו להעתיק את הקוד של לוח התוצאות עצמו כדאי לבדוק את המקור ישירות מול bigcode.