instructional_code-search-net-python
קוד פתוחNan-Doapache-2.02023-05-20
המאגר כולל הוראות ותשובות בפייתון לשני כיוונים, יצירת קוד מתיאור והסבר מילולי לקוד קיים. הוא נועד לאימון מודלים על משימות תכנות בסיסיות מתוך נתונים מוכנים.
- 1,559הורדות בחודש
- 36לייקים
מה זה
הנתונים מבוססים על גרסה מתומצתת של CodeSearchNet לפייתון, שעובדה במאי 2023 כדי להתאים לאימון מודלי שיחה והוראות. כל רשומה בנויה סביב שתי עמודות עיקריות של הוראה ומענה. המבנה מכסה שני סוגי משימות בלבד, כתיבת קוד פייתון לפי בקשה מילולית, או קבלת קטע קוד והפקת הסבר שמפרט מה הוא מבצע בפועל.
במקום תיוג אנושי ידני, המפתח השתמש בתבניות מוכנות ובשיטות עיבוד שפה טבעית כדי להרכיב ניסוחים שמדמים פניות של משתמשים. לפי התיעוד, הטקסטים עברו סינון וניקוי כדי להסיר חזרות מיותרות ותקצירים חסרי פשר. אין במאגר חלוקה מובנית לסט אימון, בדיקה או ולידציה, אלא קובץ יחיד שמרכז את כלל הנתונים יחד.
מתאים ל
- אימון מודל לכתיבת פייתון
כוונון של מודל שפה לייצר קטעי קוד פייתון ישירות מתוך הנחיות טקסטואליות.
- הסבר ותיעוד קוד אוטומטי
לימוד מודלים לקרוא פונקציות קיימות ולנסח תקציר שמסביר מה הן עושות.
- מבחן ביצועים למשימות קוד
הערכה בסיסית של הבנת קוד מול טקסט חופשי על בסיס זוגות של קלט ופלט.
איפה זה נופל
כל הטקסט במאגר מופיע באנגלית בלבד ונוגע רק לשפת פייתון, כך שאין כאן שום תמיכה בעברית או בשפות תכנות נוספות. ההוראות נוצרו על בסיס תבניות אוטומטיות ולא נכתבו ישירות בידי מתכנתים, מה שעלול לייצר דפוסים נוקשים או חזרתיים בניסוח. בנוסף, חסר מידע על גודל הקוד בפועל או על סינון של ספריות מיושנות, ולכן חובה לדגום את איכות הפלט לפני שמבססים עליו מודל.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון המוגדר הוא apache-2.0, שמאפשר שימוש מסחרי מלא ושינויים. תצטרכו רק לכלול את עותק הרישיון והודעת הייחוס המקורית בהפצה שלכם.
האם יש במאגר דוגמאות בעברית?
לא, כלל הנתונים, ההוראות והתיאורים כתובים באנגלית בלבד. אם המטרה היא תמיכה בהנחיות בעברית, תצטרכו לתרגם את המאגר או לאסוף דוגמאות אחרות.
איך המאגר נוצר בפועל?
היוצר לקח גרסה מתומצתת של CodeSearchNet לפייתון והפעיל עליה תבניות אוטומטיות וכלי עיבוד שפה. התהליך נועד לחקות שאלות ותשובות של משתמשים אמיתיים, ולאחר מכן בוצע ניקוי של כפילויות.
האם המאגר מחולק לסט אימון ובדיקה?
לא, הנתונים מגיעים בקובץ אימון יחיד ללא פיצול מובנה. אם אתם מתכננים לבדוק דיוק או למנוע דליפת מידע, תצטרכו לפצל את הרשומות בעצמכם מראש.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה Nan-Do/instructional_code-search-net-python. הקובץ המרכזי שמור בפורמט parquet יחיד תחת תיקיית data, כך שאין צורך בהגדרת גישה מיוחדת או באישור יוצר. השדות המרכזיים שמעניינים אתכם בזמן הטעינה והאימון הם instruction ו־response. מכיוון שאין חלוקה מובנית לפיצולים, תצטרכו לחתוך בעצמכם נתונים לצורכי הערכה לפני שמתחילים לאמן.
from datasets import load_dataset
ds = load_dataset("Nan-Do/instructional_code-search-net-python")הרישיון
המאגר שוחרר ברישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, כולל אימון מודלים פנימיים או מסחריים. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, בלי חובה לשחרר את המודלים שאימנתם תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים