LLMEval

הסקירה

חוקרי Fudan NLP Lab מריצים מודלי שפה מול מאגר שאלות סגור כדי לבדוק מתי המודל באמת חושב ומתי הוא פשוט שינן תשובות. הפרויקט הזה, LLMEval, מרכז מבחני ביצועים שמנסים להתמודד עם בעיית הזיהום שבה מודלים נבחנים על טקסטים שכבר קראו באינטרנט. הם בנו תשתית שמשלבת מאגר של 220,000 שאלות ברמת תארים מתקדמים בתוך 13 תחומי ידע שונים, לצד מבחנים קליניים ייעודיים לעולם הרפואה ומבחני לוגיקה נוקשים. המערך כולו מיועד למדוד דיוק אמיתי של מערכות בינה מלאכותית בתנאי מעבדה מבוקרים.

המטרה העיקרית כאן היא מניעת רמאויות של מודלים. כדי להשיג את זה, החוקרים לא מפרסמים את כל השאלות ברשת. במבחן הלוגיקה שלהם, שנקרא LLMEval-Logic, הם משחררים לציבור רק 80 אחוזים מהנתונים, ואת 20 האחוזים הנותרים שומרים במאגר פרטי חתום. אם אתם בונים מודל שפה ורוצים להוכיח שהתוצאות שלכם אמיתיות, המאגר החבוי הזה מונע מהנתונים לחלחל לתוך שלב האימון של המודל. זה רעיון פשוט שעובד היטב.

איך עובדים מבחני הלוגיקה והרפואה

מבחן הלוגיקה בנוי מסיפורים אמיתיים שתורגמו לנוסחאות ולא מתבניות מתמטיות יבשות שנפלטו בצורה אוטומטית. תהליך הבדיקה משתמש בפותר המשוואות Z3 כדי לאמת שכל תרגום משפה טבעית לתחשיב פסוקים ותחשיב יחסים הוא מדויק לחלוטין ברמת הפסוק הבודד. נוסף על כך, סוכן בדיקה ייעודי ניפה החוצה שאלות שהתבררו כקלות מדי עבור המערכות. התוצאה היא 196 פריטים בסיסיים ו־154 שאלות קשות במיוחד שמכסות תרחישים של מנייה, ייחודיות ומחשבה נגדית. אפילו מודלי הקצה המובילים הגיעו שם לדיוק של 37.5 אחוזים בלבד.

המבחן קשה בכוונה.

בצד הרפואי, המבחן LLMEval-Med נשען על 2,996 שאלות שנלקחו מתוך רשומות רפואיות אלקטרוניות אמיתיות ומתרחישים קליניים שנוסחו בידי רופאים מומחים. הבדיקה מדרגת 13 מודלים בחמישה תחומים מוגדרים: ידע רפואי, הבנת שפה, הנמקה, אתיקה ובטיחות, ויצירת טקסט קליני. במקום להסתמך רק על בדיקה ממוחשבת פשוטה, התהליך כולל מודל שמתפקד כשופט ומכויל מול מומחים אנושיים עד להגעה להסכמה של 90 אחוזים ביניהם. מי שמחפש מבחן שטחי עם שאלות אמריקאיות קצרות יגלה שכאן מדובר באתגר רפואי כבד ומעמיק.

הרופאים בודקים כל תשובה.

למי הכלי מתאים ולמי לא

הפרויקט הזה מיועד בראש ובראשונה לחוקרי למידת מכונה ולצוותי פיתוח שמאמנים מודלי שפה מאפס או מבצעים כוונון עדין על ארכיטקטורות קיימות. זה שווה את זה רק אם אתם מפתחים מודל וצריכים הוכחה מחקרית שההסקה שלו עובדת. אם אתם מנהלי מוצר, אנשי שיווק או בעלי עסקים שמחפשים תוכנה שתסכם פגישות או תנהל משימות יומיות, אין לכם מה לחפש כאן. האתר כולו באנגלית, מבחני הלוגיקה מתמקדים בסינית, ועברית כלל אינה קיימת בחומרים האקדמיים שפורסמו.

• קוד מקורפתוח בגיטהאב
• תמיכה בעבריתלא קיימת
• מחירון מלאלא מפורסם

הקוד והנתונים הבסיסיים זמינים בחינם ב־GitHub וב־Hugging Face ברישיון קוד פתוח. יחד עם זאת, מופיע תיוג של מסלול בתשלום באתר, אך ללא טבלת מחירים גלויה או פירוט עלויות עבור גישה ישירה למאגר השאלות המלא. לא הייתי משתמש בזה לפרויקטים שדורשים הערכה עסקית פשוטה, מפני שהתשתית דורשת משאבי מחשוב כבדים וידע טכני נרחב כדי להריץ את הצינורות במעבדה פרטית. אתם תצטרכו להשקיע שעות עבודה רבות רק כדי להתקין את הסביבה ולהריץ מבחן אחד.

זה דורש ידע טכני עמוק.