bigcode/arena

מה זה

האפליקציה מציגה ממשק לבדיקת יכולות תכנות של מודלים שונים זה מול זה. אתם מזינים בקשה לכתיבת קוד או משימת פיתוח, והמערכת מגרילה שני מודלים שונים שמחזירים תשובות במקביל בלי לחשוף את זהותם. התוצאות מגיעות עם אפשרות לראות את הקוד הגולמי, את פקודות ההתקנה הדרושות, וכן הדמיה או תוצאת הרצה בסביבת ארגז חול ייעודית.

מאחורי הקלעים רץ מנגנון השוואה בסגנון דירוג אלו, שמחשב ציוני איכות יחסיים לכל מודל על סמך הצבעות של משתמשים. הקוד נשען על ספריית sandbox ייעודית שמנתחת ומריצה את התוצרים כדי להציג תצוגה חיה, לצד מודולים שמנהלים קריאות API מרובות במקביל ורושמים נתוני שימוש למחקר שמלווה במאמר אקדמי.

מתאים ל

• השוואת פתרונות קוד

  מזינים דרישת תוכנה ובודקים איזה מודל מייצר מימוש נקי ונכון יותר למשימה.

• בדיקת ריצה בארגז חול

  צופים בהרצת הקוד שנוצר ורואים אם הוא עובד בפועל בלי להוריד אותו למחשב.

• השתתפות בדירוג מודלים

  מצביעים על התוצאות ומסייעים לעדכון טבלת המובילים הקהילתית בתחום הקוד.

איפה זה נופל

הסביבה רצה על מעבד בסיסי, מה שאומר שהיא לא מתאימה להרצת משימות כבדות או חישובים מורכבים בתוך הדפדפן. בנוסף, מנגנון הבחירה האנונימי לא מאפשר לכם לבחור מראש אילו שני מודלים יתחרו זה מול זה בכל פעם, כך שאי אפשר להשתמש בה ככלי ממוקד לבדיקת מודל ספציפי שמעניין אתכם אלא רק להשוואה כללית.

איך משתמשים

נכנסים לעמוד דרך הדפדפן בלי צורך להירשם או לשלם. מקלידים את תיאור המשימה, מפעילים את הבקשה, וממתינים לקבלת הקוד משני הצדדים. הממשק מאפשר לצפות בקוד, לבחון את תצוגת ההרצה, ולהצביע בלחיצה על כפתור לטובת מודל א, מודל ב, תיקו או ששניהם גרועים. השרת שמארח את הממשק רץ על חומרת מעבד בסיסית, כך שזמן התגובה תלוי בעיקר בקצב החזרת התשובות מקריאות ה־API של המודלים הנבדקים ולא בכוח המחשוב המקומי.

הרישיון

הקוד פתוח ברישיון אפאצ'י 2.0 שמאפשר שימוש חופשי, שינוי והפצה. קחו בחשבון שהאינטראקציות, הקוד שנשלח וההצבעות נאספים לצרכי טלמטריה ומחקר במסגרת הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗