vellum leaderboard

הסקירה

האתר של Vellum מציג טבלת ביצועים פומבית של מודלי שפה, עם דגש על מבחנים שפורסמו אחרי אפריל 2024. הוא מסנן החוצה מבחנים ישנים כמו MMLU ומציג ציונים במבחנים מורכבים כמו GPQA Diamond לחשיבה או SWE Bench לתכנות. המטרה היא להראות איזה מודל מוביל בכל משימה ספציפית במקום להסתפק בציון כללי יחיד. הנתונים מגיעים ישירות מיצרניות המודלים, מבדיקות עצמאיות של החברה עצמה ומתרומות של קהילת הקוד הפתוח.

במקום למדוד רק ידע כללי שנשחק עם הזמן, הבדיקות כאן מתמקדות במשימות עבודה ממשיות. במבחן Humanity's Last Exam המודלים המובילים מגיעים רק לאזור 65 אחוזי הצלחה, מה שמעיד על מבחן קשה במיוחד. לצד יכולות חשיבה יש פילוח נפרד של הפעלת מחשב, ניהול שורת פקודה ומהירות הפקת טוקנים.

איך עובד לוח התוצאות

הטבלה מדרגת מודלים לפי תחומים מוגדרים היטב. אם אתם מחפשים אוטומציה של תהליכי עבודה, תוכלו לראות את AutoBench, שבו GLM-5.3-Flash מוביל עם 48.8 אחוזים. אם המטרה שלכם היא שימוש במסוף פקודות, המבחן הרלוונטי הוא Terminal-Bench 2.1 ושם GPT-5.6 Sol מוביל עם 88.8 אחוזים. הערך של הלוח הזה תלוי ביכולת שלכם להתאים את המבחן המדויק לבעיה האמיתית שאתם מנסים לפתור. לא הייתי משתמש בציון הכללי כדי לבחור מודל למוצר ספציפי. הבדלי המהירות עצומים. Llama 4 Scout מפיק 2600 טוקנים בשנייה, פי כמה מכל מודל מסחרי גדול.

זה עניין של התאמה.

הלוח הזה מתאים לצוותי פיתוח, לחוקרים ולאנשי מוצר שמתלבטים איזה מודל לחבר לתשתית שלהם לפי פרמטרים של מחיר, מהירות וסוג המשימה. הוא מיועד למי שכבר מכיר את שמות המבחנים ויודע מה ההבדל בין זמן לתגובה ראשונה לבין קצב יצירת טקסט. הוא ממש לא מתאים למי שמחפש צ'אט בוט פשוט לשימוש משרדי שגרתי. אין כאן שום מידע על עברית. כל הבנצ'מרקים המוצגים מבוססים על אנגלית וקוד, כך שאין שום דרך לדעת מהטבלה איך המודלים יתפקדו בשפה מקומית.

מה הקשר בין הלוח למחיר

הלוח עצמו פתוח לעיון חופשי ברשת, אך הוא יושב בתוך אתר שמציע תשתית עוזר אישי בתשלום. מסלול Mighty מתחיל ב־30 דולר לחודש וכולל מחשב בסיסי עם מעבד אחד, 2 גיגה זיכרון ואחסון של 10 גיגה. המסלול הבא, Super, עולה 100 דולר לחודש, מקפיץ את המפרט ל־2.5 מעבדים עם 30 גיגה אחסון, ומסלול Ultra מגיע ל־200 דולר לחודש עם 4 מעבדים. ההבדל במחיר נובע ישירות מכוח המחשוב שמוקצה לכם, מנפח הדיסק ומחבילת הקרדיטים.

עבור רוב האנשים שרק בוחנים ביצועי מודלים, אין שום צורך לשלם על המסלולים האלה. שימו לב שיש גם דמי פלטפורמה של 10 דולר לחודש בחלק מהאפשרויות, והפעולות עצמן צורכות קרדיטים לפי שימוש שבהם דולר אחד שווה קרדיט בודד. מי שרוצה שליטה מלאה יכול להוריד את קוד העוזר מגיטהאב ולהריץ אותו באופן עצמאי על חומרה משלו ללא תשלום חודשי.

• צפייה בלוחחינם וללא הרשמה
• בדיקות בעבריתלא קיימות כלל
• קוד תשתיתפתוח להרצה עצמית

הנתונים מתעדכנים לעיתים קרובות.

לפני שאתם מקבלים החלטה ארכיטקטונית על בסיס הטבלה הזו, קחו בחשבון שהיא מתעלמת משיקולי פריסה מקומית ואינה מודדת תמיכה בלשנית מעבר לאנגלית. עלויות המודלים בטבלה, כמו Nova Micro שעולה 0.04 דולר לקלט ו־0.14 דולר לפלט למיליון טוקנים, נראות מפתות על הנייר. עם זאת, איכות הפלט בפועל במשימה שלכם עשויה להיות רחוקה מתוצאות המבחן הסינתטי.