code-search-net-python

מה זה

הבסיס כאן הוא חלק הפייתון מתוך CodeSearchNet המקורי, שמכיל פונקציות קוד פתוח עם ההערות המקוריות שנכתבו בגיטהאב. מה שנוסף פה זו עמודת סיכום, שמתארת בקצרה מה כל פונקציה עושה.

הסיכומים לא נכתבו בידי בני אדם אלא הופקו באמצעות מודלי סיכום T5 של חברת Salesforce. היוצר ציין שהנתונים עברו סינון מסוים כדי להסיר חזרות ותיאורים חסרי משמעות, אך הוא לא פירט מדדים מדויקים או כללי סף טכניים.

אין כאן קבצים נפרדים לחלוקות השונות. במקום פיצול פיזי, החלוקה לאימון, בדיקה ואימות מופיעה ישירות כערך בעמודה ייעודית בתוך הטבלה.

מתאים ל

• אימון מודלי תיעוד קוד

  יצירת מודלים שמקבלים פונקציית פייתון ומייצרים לה תיאור תמציתי באנגלית באופן אוטומטי.

• בניית דאטהסט הוראות

  שימוש בזוגות של פונקציה וסיכום כדי להרכיב פרומפטים לאימון מודלי שפה על משימות תכנות.

• חיפוש קוד סמנטי

  אימון מערכות שמאתרות קטעי קוד מתוך תיאור טקסטואלי חופשי של הפעולה שהם מבצעים.

איפה זה נופל

הסיכומים נוצרו במודל T5 של Salesforce ולא עברו ולידציה אנושית מלאה. היוצר מודה במפורש שחלק מהתיאורים חסרי משמעות או כוללים חזרות שנשארו בפנים למרות הסינון. בנוסף, כל התיעוד וההערות כתובים באנגלית בלבד. אין כאן שום תמיכה בעברית, והקוד מוגבל לפייתון בלבד ללא שפות תכנות נוספות.

איך טוענים

המאגר פתוח לציבור ואין צורך לבקש אישור גישה מיוחד כדי להוריד אותו. הנתונים שמורים בארבעה קבצי Parquet שמכילים את נתוני האימון לצד קובץ תיעוד. כדי להשתמש בפיצולים המקובלים של בדיקה או אימות תצטרכו לפלטר את הנתונים לפי עמודת התוויות שבתוך הקובץ, במקום לטעון ספליט מובנה מהספרייה.

from datasets import load_dataset

ds = load_dataset("Nan-Do/code-search-net-python")

הרישיון

המאגר מפורסם ברישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, ומותר לאמן עליו מודלים מסחריים. התנאי המרכזי הוא מתן קרדיט ושמירה על הודעת הרישיון המקורית של הפרויקט, ללא דרישה לחשוף את הקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗