apps
קוד פתוחcodeparrotmit2022-06-15
המאגר כולל עשרת אלפים בעיות תכנות באנגלית עם פתרונות פייתון ובדיקות קלט ופלט. הוא נבנה כדי לבחון מודלי שפה על כתיבת קוד מתוך תיאור מילולי ברמות קושי שונות.
- 23,254הורדות בחודש
- 204לייקים
מה זה
הנתונים מחולקים שווה בשווה בין אימון לבדיקה, חמשת אלפים בעיות בכל חלק. כל רשומה מחזיקה תיאור מילולי של הבעיה באנגלית באורך ממוצע של כמעט שלוש מאות מילים, פתרונות קוד בפייתון, קישור למקור, רמת קושי ומחרוזת ג'ייסון שמכילה מקרי בדיקה של קלט ופלט. מעט מהרשומות מציעות גם שלד קוד התחלתי או שם פונקציה מוגדר מראש.
הבעיות נאספו ידנית מאתרי תחרויות ואתגרי תכנות פתוחים כמו קודפורסס, קודוורס, אטקודר וקאטיס. המאגר מציע שלוש רמות קושי מובחנות, מרמת מתחילים, דרך שאלות של ראיונות עבודה ועד רמת תחרויות מורכבות.
מתאים ל
- הערכת מודלים לכתיבת קוד
בדיקת ביצועים אוטומטית של מודלי שפה על בעיות תכנות מגוונות בעזרת בדיקות קלט ופלט.
- אימון מודלים לפתרון בעיות
כוונון עדין של מודלי שפה לייצור קוד פייתון מתוך הוראות מילוליות מפורטות.
- סינון לפי אתגרי ראיונות
שליפת שאלות ומקרי בדיקה ברמת ראיונות טכניים לאימון מודלים ייעודיים לתחום.
איפה זה נופל
הבעיה המרכזית כאן היא כיסוי הבדיקות. לפי מחקר אלפא קוד, המאגר נוטה לייצר חיוביים כוזבים בהערכה, כלומר פתרונות שגויים עוברים בהצלחה כי אין מספיק מקרי בדיקה קיצוניים לכל בעיה. מעבר לכך, מאה תשעים וחמש שאלות באימון מגיעות בלי בדיקות כלל, ובחלק הבדיקה חסרים פתרונות מלאים ביותר מאלף ומאתיים שאלות. הכל מבוסס על פייתון ואנגלית בלבד, ואין כאן תמיכה בשפות תכנות נוספות או בעברית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא mit. הרישיון הזה מתיר שימוש מסחרי מלא, כולל אימון מודלים סגורים, כל עוד שומרים על תנאי הייחוס של המפרסמים המקוריים.
האם המאגר כולל תוכן בעברית?
לא. כל ניסוחי השאלות כתובים באנגלית בלבד, וכל הפתרונות כתובים בשפת פייתון. אין במאגר טקסטים או התאמות מקומיות לעברית.
איך נאספו הנתונים במקור?
החוקרים אספו את השאלות באופן ידני מתוך פלטפורמות פתוחות לאתגרי תכנות ותחרויות קוד. המקורות המרכזיים שצוינו הם האתרים Codewars, AtCoder, Kattis ו־Codeforces.
למה כדאי לשים לב לפני שמריצים עליו הערכת ביצועים?
במאגר יש בעיה מתועדת של חוסר במקרי בדיקה, מה שמוביל לקבלת פתרונות שגויים כנכונים. בנוסף, מעל אלף ומאתיים שאלות בסט המבחן מגיעות בלי פתרון מאומת להשוואה.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה הרשמי, ללא צורך בהרשאה מיוחדת או אישור גישה. הקבצים שמורים בפורמט jsonl ונתמכים בקוד טעינה ייעודי. ניתן לסנן את השליפה כבר בהתחלה לפי רמות הקושי על ידי העברת פרמטר ייעודי, וכדאי לשים לב ששדות הפתרונות והבדיקות דורשים פענוח ממחרוזות ג'ייסון למבני נתונים של פייתון.
from datasets import load_dataset
ds = load_dataset("codeparrot/apps")הרישיון
המאגר מופץ תחת רישיון mit. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה של המידע ושל מודלים שאומנו עליו, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף את הקוד או המודל הנגזר תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש