platinum-bench
קוד פתוחmadrylabcc-by-sa-4.02025-02-05
המאגר מרכז גרסאות נקיות ובדוקות ידנית של מבחני ביצועים מוכרים כמו GSM8K ו־DROP. הוא מיועד למי שרוצה למדוד מודלי שפה בלי ששגיאות מובנות וניסוחים מעורפלים יפילו את הציון.
- 650הורדות בחודש
- 23לייקים
מה זה
הנתונים מורכבים מחמישה עשר מבחני ביצועים ותיקים שעברו סינון קפדני. הצוות לקח מבחנים בתחומי מתמטיקה, לוגיקה, הבנת הנקרא וראייה ממוחשבת, והריץ עליהם שורה של מודלים חזקים. כל דוגמה שלפחות מודל אחד שגה בה נבדקה ידנית, תוקנה במידת הצורך, או סומנה לפסילה מוחלטת בגלל ניסוח לקוי.
המבנה של כל רשומה כולל פרומפט אחיד מוכן עם שרשרת מחשבה, פרומפט נפרד ללא שרשרת מחשבה, ואת רשימת התשובות הנכונות. בנוסף נשמרו השדות המקוריים של כל מבחן יחד עם התיוג הישן, לצד סטטוס הניקוי שמסביר אם הדוגמה אושרה בהסכמת המודלים, אומתה ידנית, תוקנה, או נפסלה.
מתאים ל
- הערכת אמינות מודלים
בדיקת ביצועים נקייה מטעויות תיוג על מבחנים קיימים כמו GSM8K.
- בדיקת שרשרת מחשבה
השוואת ביצועי מודל עם פרומפט של פירוק שלבים מול פרומפט רגיל.
- ניתוח כשלי בנצ'מרקים
מחקר על סוגי השגיאות והשאלות המעורפלות שנפסלו במבחנים ותיקים.
איפה זה נופל
כל השאלות במאגר באנגלית בלבד. המדגמים קטנים מאוד ומכילים בדרך כלל בין מאה לשלוש מאות דוגמאות בכל תת מאגר, מה שמגביל את התוקף הסטטיסטי ולא מתאים לאימון. מעבר לכך, מודל הראייה דורש חיבור קבצים חיצוני ולא עובד עצמאית מהקופסה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
ההערות והתיוגים מופצים תחת CC BY-SA 4.0, מה שמאפשר שימוש מסחרי אך מחייב שיתוף באותו רישיון אם אתם מפיצים מחדש את הדאטה. בנוסף, חובה לוודא שרישיון המקור של תת המאגר שבו אתם משתמשים אינו מתנגש עם השימוש שלכם.
האם יש במאגר שאלות בעברית?
לא. כל חמש עשרה המערכות מבוססות על מבחנים באנגלית בלבד, ואין נתונים רב לשוניים.
מה ההבדל בין המאגר הזה לגרסאות המקוריות של GSM8K או DROP?
הגרסאות המקוריות כוללות טעויות תיוג ושאלות בעייתיות שמגבילות את הדיוק של ההערכה. כאן החוקרים בדקו ידנית שאלות שמודלים התקשו בהן, תיקנו תשובות שגויות ופסלו שאלות מבלבלות.
האם המאגר מתאים לאימון מודל שפה?
לא מומלץ. מדובר במאות בודדות של דוגמאות בכל תת מאגר, כמות שנועדה להערכה ובדיקת ביצועים ולא לאימון או כוונון.
איך טוענים
טוענים את המאגר ישירות בספריית datasets עם ציון שם תת המאגר הספציפי, למשל gsm8k או drop, תחת split של test. המידע מחולק לקובצי parquet ללא צורך בהרשאת גישה מיוחדת.
חובה לסנן את השורות מיד לאחר הטעינה. המאגר כולל רשומות פסולות שסומנו תחת הערך rejected, ואם לא תעיפו אותן לפי העמודה cleaning_status תקבלו הערכה שגויה לחלוטין. במבחן הראייה VQA יש להוריד את התמונות בנפרד מהאתר הרשמי, שכן המאגר כולל רק את הנתיבים היחסיים לקבצים.
from datasets import load_dataset
ds = load_dataset("madrylab/platinum-bench")הרישיון
התוספות והתיקונים של החוקרים מוגשים תחת רישיון CC BY-SA 4.0, שמתיר שימוש מסחרי ומחייב מתן קרדיט ושיתוף נגזרות באותו רישיון. עם זאת, המאגר מתבסס על מקורות שונים בעלי רישיונות נפרדים כמו MIT או CC BY 4.0, ולכן יש לבדוק את התנאים של כל תת מאגר בנפרד.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון