bigcodebench-leaderboard
רץ בדפדפןbigcodeapache-2.02024-06-07
לוח תוצאות שמרכז ציונים והשוואות של מודלי שפה שונים במשימות תכנות מורכבות. הוא מיועד למפתחים וחוקרים שרוצים לבחור מודל קוד לפי ביצועים במבחן BigCodeBench.
- —הורדות בחודש
- 233לייקים
מה זה
אין פה שורת פקודה וגם לא מזינים קוד משלכם כדי להריץ עליו טסטים בזמן אמת. הממשק מציג נתונים מוכנים שנאספו מראש, ומאפשר לסנן, לחפש ולמיין עשרות מודלים שנבחנו על בסיסי הנתונים של הפרויקט.
המסך מחולק לשתי תצוגות מרכזיות, אחת למערך המשימות המלא והשנייה למערך המשימות הקשה בלבד. בכל אחת מהן רואים טבלאות ציונים לפי מדדי הצלחה במשימות השלמת קוד ומשימות הנחיה, לצד גרפים שמציגים את אחוזי הפתרון של כל מודל.
מתאים ל
- בחירת מודל לפיתוח קוד
בדיקת המודלים המובילים במשימות תכנות קשות לפי שיעור ההצלחה שלהם, כדי להחליט באיזה מהם להשתמש.
- השוואת מודלי הוראות להשלמה
הצלבת ביצועים בין תרחיש של כתיבת פונקציה מהנחיה מילולית לבין השלמת קוד חסר באותו מבחן בדיוק.
- מחקר והערכת מודלים
מעקב אחר הציונים הרשמיים שפורסמו במאמר ArXiv כדי להשוות תוצאות מחקר חדשות לסטנדרט הקיים בתחום.
איפה זה נופל
זהו לוח מעקב ולא סביבת פיתוח, ולכן אי אפשר להריץ בו בדיקה על מודל פרטי שלכם ישירות מהדפדפן. לשוניות דירוג ה־Elo מנוטרלות בקוד המקור ואינן פעילות בממשק, למרות שהדאטהסטים עבורן קיימים ברקע. בנוסף, הציונים מתייחסים אך ורק למשימות הפייתון הספציפיות שהוגדרו במאמר, ולא משקפים בהכרח איכות קוד בפרויקטים אמיתיים עם ספריות ייחודיות.
שאלות
נפוצות
האם השימוש בלוח כרוך בתשלום?
הצפייה בנתונים ובגרפים חינמית לגמרי ופתוחה לכולם ישירות בדפדפן. אין צורך להזין אמצעי תשלום, ואין שום מסלול בתשלום שמופיע בקוד של האפליקציה.
האם אני יכול להעלות קוד או קבצים לבדיקה?
הממשק אינו כולל אפשרות להעלאת קבצים אישיים או הרצת קוד שלכם. כל מה שמוצג בו הוא תוצאות של מבחנים שכבר הורצו מראש על ידי צוות הפרויקט.
במה הלוח הזה שונה מהמודלים שמופיעים בו?
האפליקציה היא רק לוח ציונים שמרכז נתונים השוואתיים, ולא המודלים עצמם. אם תרצו להשתמש באחד המודלים לכתיבת קוד בפועל, תצטרכו לגשת אליו בנפרד דרך ה־API או הדף שלו.
האם אפשר להריץ את לוח התוצאות באופן מקומי?
הקוד פתוח תחת רישיון Apache 2.0 ומבוסס על Gradio וספריות Hugging Face סטנדרטיות. אפשר לשכפל את המאגר ולהריץ אותו במחשב שלכם, אך תצטרכו להוריד את קובצי הנתונים שמקושרים אליו.
איך משתמשים
נכנסים לדף והטבלאות נטענות לבד, בלי צורך להתחבר לחשבון או להירשם. אפשר לסנן עמודות, לחפש מודל ספציפי או לעבור בין הלשוניות של המבחן המלא והמבחן הקשה בלחיצת כפתור.
השרת רץ על מעבד בסיסי בלבד. מכיוון שמדובר בהצגת נתונים סטטיים וטבלאות ולא בהרצת מודלים כבדים ברקע, הטעינה של התרשימים והטבלאות מיידית וכמעט אין זמני המתנה.
הרישיון
הפרויקט כולו מופץ ברישיון קוד פתוח מסוג Apache 2.0. הרישיון מאפשר שימוש חופשי בקוד, שינוי שלו והפצה מחדש, כולל לצרכים מסחריים. אין העלאת קבצים או שמירת נתונים אישיים שלכם בזמן הגלישה בלוח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים