mbpp

מה זה

המאגר מכיל תיאורי משימות באנגלית, פתרונות תקניים בפייתון ושלוש בדיקות תוכנה מסוג אסרשן לכל בעיה. הנתונים נאספו בגוגל באמצעות מיקור המונים פנימי, במטרה לבחון ידע של מתכנתים מתחילים בספרייה הסטנדרטית וביסודות השפה, במקום שאלות אלגוריתמיות מסובכות.

הקוד מחולק לשתי גרסאות מרכזיות. הגרסה המלאה כוללת קרוב לאלף רשומות, מתוכן 974 מוגדרות לבדיקה, לצד שדות שמכילים בדיקות מאתגרות יותר. הגרסה השניה נקראת סניטייזד, ובה 427 משימות שעברו סבב הגהה ותיקון אנושי נוסף לשיפור הניסוח של ההוראות. לכל גרסה יש חלוקה לאימון, הערכה, בדיקה ודוגמאות לפרומפטים.

מתאים ל

• הערכת מודלי שפה לקוד

  בדיקת איכות הקוד שהמודל מייצר מול שלוש בדיקות יחידה אוטומטיות לכל שאלה.

• בניית פרומפטים מעטים

  שימוש בחלק הפרומפטים המובנה כדי לספק למודל דוגמאות פתורות בזמן ריצה.

• אימון מודלים זעירים

  אימון או כוונון עדין של מודלים קטנים על פתרון תרגילי פייתון פשוטים.

איפה זה נופל

היוצרים מודים שניסוחי המשימות בגרסה המלאה לא תמיד מספיק ברורים כדי לפתור את הבעיה, ולכן נדרש הסינון הידני בחלק מהמקרים. כל המשימות באנגלית בלבד ועוסקות רק בפייתון בסיסי, כך שאין כאן מענה לפיתוח מערכות שלמות. כמו כן, הרצת בדיקות מול קוד שנוצר על ידי מודל דורשת סביבה מבודדת ומאובטחת כדי לא להריץ פקודות מזיקות על המחשב שלכם.

איך טוענים

טוענים את המאגר ישירות עם פונקציית לואוד דאטהסט של האגינג פייס, כשאפשר לבחור בין הגרסה הרגילה לגרסת הסניטייזד. הנתונים שמורים בקובצי פארקט קטנים מאוד, בלי דרישה לאישורי גישה מיוחדים. השדות החשובים הם הטקסט שמכיל את תיאור המשימה, שדה הקוד לפתרון, ומערך הבדיקות שמריצים מול התוצר של המודל.

from datasets import load_dataset

ds = load_dataset("google-research-datasets/mbpp")

הרישיון

הרישיון הוא סי סי ביי 4.0. מותר להשתמש בנתונים למטרות מסחריות, לשנות אותם ולשלב אותם בכל פרויקט, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם בוצעו שינויים. הרישיון לא דורש שיתוף תחת אותם תנאים, כך שאין בעיה לאמן מודלים סגורים על בסיס הנתונים.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗