CodeArena Leaderboard

הסקירה

האתר llmcodearena.com מציג טבלת דירוג עבור 16 מודלים פתוחים לכתיבת קוד. הנתונים מתבססים על 6367 הצבעות ומשחקים שנאספו מתוך 2526 משתמשים ייחודיים בלבד. המערכת מדרגת כל מודל לפי אחוז הניצחונות שלו מול מתחרים אחרים, ומספקת קישור ישיר לסביבת Playground חיצונית בכתובת Together AI כדי לנסות את המודל בפועל. בראש הרשימה מוביל Kimi K2 של חברת Moonshot עם 72 אחוזי הצלחה לאורך 401 משחקים מתועדים, ומיד אחריו מופיע Qwen 3 Coder של Qwen עם 70 אחוזי הצלחה מתוך 502 משחקים.

הנתונים משתנים באופן בולט ככל שהמדגם גדל.

איך עובד הדירוג בפועל

כאשר בוחנים מודלים מוכרים יותר, רואים צניחה חדה בשיעור ההצלחה היחסי שמציג האתר. מודל DeepSeek V3 של DeepSeek מתייצב במקום הרביעי עם 61 אחוזים מתוך 740 משחקים, בעוד שהמודלים של Meta מציגים ביצועים נמוכים משמעותית. Llama 3.1 405B עומד על 44 אחוזי ניצחון בלבד בתוך 1572 משחקים, ואילו Llama 3.3 70B קיבל 42 אחוזים על פני 1835 משחקים. מודל Qwen 2.5 72B סוגר את העשירייה עם 39 אחוזים מתוך 1281 התמודדויות. מה שבאמת מפריע כאן הוא שאין באתר מידע על סוג המשימות שנבדקו, וקשה לדעת אם הקוד שנבחן כולל סקריפטים בסיסיים בלבד.

האתר כולו פועל באנגלית בלבד.

למי שמפתח עבור קהל ישראלי או מחפש תיעוד בעברית, האתר אינו מספק פתרון מותאם. הממשק נבנה באנגלית בלבד, ואין שום התייחסות לתמיכה של המודלים בשפות שאינן אנגלית, או ליכולת שלהם לייצר הערות קוד בעברית תקינה. בנוסף לכך, ההשוואה הזו מתאימה לסקירת קוד פתוח בלבד ולא לפתרונות סגורים. אם אתם שוקלים להשתמש במידע הזה כדי לבחור כלי עבודה עיקרי, תצטרכו להביא בחשבון שאין בטבלה נציגות לכלים של חברות כמו OpenAI או Anthropic, כך שהבדיקה אינה מקיפה את כל השוק הרלוונטי למפתחים מקומיים.

• מחירון באתרלא צוין באתר
• שפת ממשקאנגלית בלבד
• גישה למודליםקישורים חיצוניים

כמה זה עולה באמת

נושא התמחור כלל אינו מצוין באתר llmcodearena.com, ולא מופיע בו מחירון או פירוט עלויות כלשהו. האתר עצמו משמש כלוח תוצאות פתוח לצפייה ללא דרישת תשלום, אך הקישורים שמפנים להרצת המודלים מובילים לשרתי צד שלישי בכתובת Together AI. לא הייתי משתמש בזה להחלטות תקציביות בארגון, משום שעלויות הרצת המודלים, החומרה הנדרשת או תעריפי הגישה לשרתים החיצוניים אינם מפורטים בטבלה. כדי להבין מה העלות האמיתית של הטמעת Llama 3.1 405B או Kimi K2 בתשתית שלכם, תצטרכו לבדוק את התמחור באופן עצמאי מול ספקי הענן השונים.

אין כאן התחייבות כספית ישירה.

הכלי הזה שווה בדיקה רק אם אתם מחפשים סקירה מהירה של מגמות בעולם מודלי הקוד הפתוח, ולא מעבר לכך. הוא לא מתאים למי שבונה תשתית ייצור ומחפש נתונים בדוקים על זמני תגובה, תמיכה בעומסים או עלויות תחזוקה שוטפות. הפער בין כמות המשחקים של המודלים המובילים, סביב 400 או 500 התמודדויות, לבין מודלים ותיקים שנבדקו קרוב ל־2000 פעמים, מציג תמונה חלקית בלבד. כדאי לכם להתייחס לתוצאות האלה בתור נקודת מוצא ראשונית לקריאה, ולא כתחליף לבדיקת ביצועים מעשית בסביבת הפיתוח האמיתית שלכם.