monkey_business
קוד פתוחScalingIntelligencemit2024-09-02
המאגר כולל עשרת אלפים דגימות פתרון לכל שאלה ממגוון מודלים, נכונות ושגויות כאחד. הוא מיועד למי שרוצה לאמן או לבחון מנגנוני אימות פלט במשימות חשיבה.
- 808הורדות בחודש
- 20לייקים
מה זה
הנתונים מבוססים על בעיות מתוך ארבעה מבחנים מוכרים: GSM8K, MATH, CodeContests וגרסת Lean4 של MiniF2F. עבור כל בעיה נדגמו עשרת אלפים תשובות ממודלים כמו Llama-3, Gemma ומשפחת Pythia, בטמפרטורות של 0.5 או 0.6.
כל רשומה מייצגת בעיה אחת וכוללת את השאלה, הפרומפט, רשימה של עשרת אלפים פתרונות שנוצרו על ידי המודל, ומערך תואם של ערכים בוליאניים שמציין אם כל פתרון נכון או שגוי. בחלק מהתצורות מצורפת גם תשובת האמת המקורית. בדיקת הנכונות בוצעה בהתאם למשימה, באמצעות ביטויים רגולריים, השוואה אלגברית בסימפי, טסטים של קוד או מנוע ההוכחות Lean.
מתאים ל
- אימון מודלי אימות תוצאה
זיהוי תשובות שגויות ונכונות מתוך אלפי פלטים של מודלים שונים.
- מחקר scaling בזמן הסקה
ניתוח ההסתברות להגיע לפתרון נכון ככל שמגדילים את מספר הדגימות.
- בדיקת איכות שרשראות חשיבה
הערכת עקביות ההיגיון בפתרונות שגויים ונכונים במתמטיקה ותכנות.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על מספר קטן יחסית של שאלות מקוריות, בין 127 ל־140 לכל משימה. הערכת הנכונות אינה מושלמת. ב־MiniF2F ייתכנו מקרים שבהם הוכחה נכונה סומנה כשגויה עקב חריגה ממגבלת זמן של עשר שניות, וב־CodeContests ו־MiniF2F שדה פתרון האמת חסר לחלוטין. בנוסף, הדגימות נחתכו באורכי טוקנים קבועים מראש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הדגימות שהחוקרים יצרו מפורסמות תחת רישיון MIT שמאפשר שימוש מסחרי חופשי. למרות זאת, שאלות המקור מגיעות מדאטהסטים נפרדים, ולכן חובה לוודא את הרישיונות של GSM8K, MATH וקוד קונטסטס בנפרד.
האם המאגר כולל תוכן בעברית?
לא. כל השאלות, הפרומפטים והפתרונות שנוצרו על ידי המודלים כתובים באנגלית בלבד או בשפות תכנות ופורמליזציה.
כמה שאלות יש בסך הכל בכל חלק?
המאגר מכיל מספר בעיות קטן אך עמוק מאוד. ישנן 127 בעיות מ־GSM8K, 128 מ־MATH, 140 מ־CodeContests ו־130 מ־MiniF2F, כאשר לכל בעיה מצורפות 10,000 דגימות שונות.
איך נקבע האם פתרון מסוים נכון או שגוי?
השיטה השתנתה לפי התחום. במתמטיקה נעשה שימוש בחילוץ טקסטואלי או פישוט סימבולי עם sympy, בתכנות הריצו את הקוד מול מקרי בדיקה, ובמבחן ההוכחות השתמשו בסביבת Lean 4 עם מגבלת זמן של עשר שניות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם התצורה הרצויה, למשל צימוד של GSM8K ודגם ה־Llama הרלוונטי. כל תצורה מכילה split בודד של test ואינה דורשת אישור גישה מיוחד. מספר הרשומות הכללי נמוך מאלף, אך כל רשומה כוללת מערכים כבדים של אלפי מחרוזות, ולכן שדות ה־samples וה־is_corrects דורשים זיכרון עבודה משמעותי בעת עיבוד.
from datasets import load_dataset
ds = load_dataset("ScalingIntelligence/monkey_business")הרישיון
החוקרים שחררו את הדגימות והתיוגים שלהם תחת רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה וללא חובת שיתוף זהה. יחד עם זאת, השאלות ותשובות האמת נלקחו ממאגרים חיצוניים, ויש לבדוק את תנאי הרישיון המקוריים של כל משימה לפני שימוש במוצר סופי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש