Wolfram LLM Benchmarking Project

הסקירה

חברת Wolfram מריצה בדיקות ביצועים שוטפות על מודלי שפה גדולים, ומפרסמת את התוצאות שלהם בפרויקט הזה עבור משימת תכנות מוגדרת. הבדיקה לוקחת הנחיות שכתובות באנגלית ובודקת אם המודל מצליח לייצר מהן קוד תקין של Wolfram Language. המשימות עצמן מגיעות מתוך תרגילים בספר An Elementary Introduction to the Wolfram Language שכתב Stephen Wolfram. החברה מסבירה שמיליוני בני אדם כבר פתרו את התרגילים האלה ברשת לאורך השנים. על הבסיס הזה הם בנו כלים פנימיים שבודקים נכונות פונקציונלית של קוד, וכעת מפעילים את אותם כלים ישירות על תשובות של מודלים ממוחשבים.

הפרויקט הזה מיועד למפתחים שחוקרים מודלים ורוצים לראות תוצאות השוואתיות מדויקות במשימה חישובית. אם חיפשתם כלי שיעזור לכם בעבודה משרדית, הוא לא בשבילכם.

מאיפה הנתונים מגיעים

הנתונים לא נשארים רק כדף אינטרנט לקריאה מהירה. הטבלה המלאה וכל הגרסאות הקודמות שלה מפורסמות בפורמט חישובי ישיר בתוך Wolfram Data Repository תחת השם LLMBenchmarks-Data. המשמעות היא שאתם יכולים למשוך את מאגר המידע הזה ישירות לתוך סביבת עבודה חישובית ולנתח את ההיסטוריה של המבחנים בעצמכם. Wolfram משתמשת בניסיון שלה כמשתמשת כבדה וכמנתחת של טכנולוגיית LLM כדי להמשיך לעדכן את המדדים האלה. במקום מבחנים פתוחים של שיחה או כתיבה יוצרת, הם הלכו על משימה קשיחה שבה לקוד יש תוצאה חד משמעית של נכון או שגוי.

לא הייתי משתמש בזה כדי לבדוק יכולות ניסוח כלליות, אלא רק להבנת כתיבת קוד מתמטי ומובנה.

ההתמקדות כאן צרה מאוד וקשורה כולה לאקוסיסטם של Wolfram. כל המפרטים של התרגילים מנוסחים באנגלית, והיעד הוא יצירת קוד בשפת Wolfram בלבד. אין כאן בדיקה של פייתון, ג'אווהסקריפט או כתיבת טקסטים חופשיים, ולכן אין לכלי הזה שום נגיעה לשפה העברית. מי שמחפש ביצועים של מודלים בעברית או בניתוח מסמכים מקומיים יצטרך לפנות למקורות אחרים לגמרי. מה שבאמת מפריע כאן הוא שהמדד הזה משקף בעיקר איך המודל מתמודד עם התחביר והפונקציות של חברה מסוימת, ולא עם פיתוח תוכנה כללי שרובנו עושים ביומיום.

כמה זה עולה ומי ניגש

אין באתר שום מחירון, ולא מצוין תשלום על צפייה בתוצאות או על הורדת המידע ממאגר הנתונים. המידע הציבורי נגיש דרך הרשת לכל מי שמעוניין לעיין בטבלאות הביצועים וללמוד איך כל מודל התמודד עם התרגילים. עם זאת, אם אתם מפתחים מודל שפה ורוצים לכלול אותו בבדיקות, תצטרכו לפנות ישירות לחברה במייל. Wolfram מזמינה מפתחי LLM ליצור קשר כדי לקבל את ערכת הנתונים והכלים, או כדי לתאם הוספה של המודל שלהם לפרויקט. לא מפורט מהם התנאים המסחריים להצטרפות כזו או אם מדובר בשיתוף פעולה פתוח לכולם.

האתר לא מגלה כמה זמן לוקח לעדכן מודל חדש. יש שם חוסר ודאות מוחלט לגבי לוחות הזמנים.

בעמוד המיזם תמצאו קישורים לחומרי רקע נוספים, שכוללים הפניה למאמר של Stephen Wolfram על איך ChatGPT עובד ומדוע הוא מצליח. קישור אחר שואל האם בינה מלאכותית יכולה לפתור מדע, ומאמר נוסף עוסק בשימוש בשפת Wolfram ככלי בסיס לשיפור תוצאות של מודלי שפה. בנוסף, מופיע שם קישור אל Wolfram Alpha LLM API עם תיעוד למפתחים שרוצים לחבר יכולות חישוב חיצוניות אל המודלים שלהם. לבירורים שוטפים, האתר מעמיד אפשרות פנייה ישירה באמצעות LiveChat, לצד כתובת המייל הייעודית של תוכנית השותפים לפרויקט הבנצ'מרק.

• מחיר המידעלא צוין באתר
• שפת הבדיקהאנגלית בלבד
• גישה לנתוניםזמינה במאגר החישובי