long-code-arena

מה זה

בעמוד תמצאו טבלאות נתונים המציגות ביצועי מודלים שונים תחת שש משימות מוגדרות: השלמת קוד ברמת פרויקט, איתור באגים, תיקון כשלים בבניות CI, יצירת הודעות קומיט, סיכום מודולים ויצירת קוד לפי ספריות. כל משימה נשענת על נתוני בנצ'מרק ייעודיים שנבנו עבור הקשרים ארוכים.

הממשק מחולק ללשוניות לפי סוגי המשימות, ומציג טבלאות מפורטות ומצטברות של תוצאות. מתחת לטבלאות ישנו אזור הגשה שבו מזינים פרטים מזהים על המודל ומעלים קבצי תוצאות כדי להיכנס לדירוג.

מתאים ל

• בחירת מודל לפרויקט גדול

  השוואת ביצועים במשימות קוד ארוך כמו איתור באגים והשלמה, לפני שמחליטים באיזה מודל להשתמש.

• הגשת נתוני מחקר

  העלאת תוצאות שקיבלתם על מודל חדש לפי פורמט המשימות של הבנצ'מרק כדי להופיע בדירוג.

• מעקב אחר מדדי ביצועים

  בדיקת הנתונים המצטברים עבור משימות ספציפיות כמו סיכום מודולים או יצירת הודעות קומיט.

איפה זה נופל

זהו לוח השוואה בלבד ולא סביבת עבודה. אי אפשר להדביק כאן קוד, לקבל השלמות או לתקן תקלות בזמן אמת. כמו כן, ההגשות תלויות בקבצים שמפתחים מעלים באופן יזום, כך שאינכם מריצים בדיקה חיה מול המודל כדי לוודא את הנתונים בעצמכם.

איך משתמשים

אין כאן מודל שמריץ קוד בפועל, אלא ממשק גרפי לצפייה בנתונים ושליחת קבצים. גולשים בין הלשוניות של המשימות השונות ורואים את הנתונים מיד. אם רוצים להוסיף מודל, פותחים את אזור ההגשות, ממלאים פרטי זיהוי ולינקים, מעלים את קבצי הפלט ולוחצים על שליחה. השרת פועל על חומרת מעבד בסיסית, מה שמספיק בהחלט להצגת טבלאות ולטעינת קבצים קלים.

הרישיון

הרישיון של המרחב לא דווח במפורש. קבצי תוצאות ופרטים שאתם מזינים באזור ההגשה מיועדים להצגה פומבית בטבלאות, ולכן אין להעלות לשם מידע רגיש או פנימי.

הרישיון המלא ב־Hugging Face ↗