Python-Code-Large

מה זה

המאגר מכיל יותר משני מיליון שורות של קוד מקור בפייתון, שנאספו כדי לספק בסיס רחב למודלי שפה בתחום הקוד. המידע מחולק על פני עשרות קבצים, והתוכן מייצג קשת רחבה של סגנונות כתיבה ופרדיגמות. תוכלו למצוא שם הגדרות פונקציות, מחלקות מורכבות, תבניות תכנות אסינכרוני, וגם סקריפטים של למידת מכונה וצינורות עיבוד נתונים. בנוסף משולבים בו מחברות נתונים שהומרו לקובצי פייתון רגילים, קוד בדיקות יחידה, ורכיבי צד שרת.

למרות הפירוט הרחב של סוגי התחביר, הכרטיס שותק לחלוטין בנוגע למקורות הדאטה. לא מצוין מאיזה מאגרים נלקח הקוד, האם נסרק מגיטהאב או מאתרים אחרים, ואין שום מידע על תהליכי הסינון, הניקוי, או הסרת כפילויות. המבנה הכללי מציג את עושר השפה, החל מפיצ'רים מודרניים של פייתון 3 ועד תיעוד פנימי, אבל בלי שקיפות על מקור האיסוף קשה לדעת מה איכות הקוד שנכנס פנימה.

מתאים ל

• אימון מודלי קוד

  אימון ראשוני או המשך אימון של מודלי שפה גדולים שמתמחים אך ורק בתחביר פייתון.

• השלמת קוד וכלי פיתוח

  כוונון עדין למודלים שמסייעים בעריכת קוד, הצעות השלמה בזמן אמת וכתיבת בדיקות.

• ניתוח סטטי ומחקר תוכנה

  מחקר על דפוסי כתיבה בפייתון, שימוש במבני שפה אסינכרוניים וניתוח גרפי תלויות.

איפה זה נופל

הבעיה המרכזית כאן היא חוסר הוודאות. הכרטיס לא מספק שום מידע על סינון קוד זדוני, הסרת סיסמאות ומפתחות גישה, או בדיקת איכות וקומפילציה. לא ידוע מאיזה תאריכים נאסף החומר, כך שחלקו עשוי לכלול ספריות ישנות או שיטות עבודה שעבר זמנן. בנוסף, השפה המדווחת היא אנגלית בלבד, ואין נתונים על שפות טבעיות אחרות. אם אתם בונים מודל שמיועד לסביבת ייצור, תצטרכו להריץ בעצמכם סינון קפדני של כפילויות, בדיקות אבטחה וסריקת רישיונות של ספריות פנימיות.

איך טוענים

הנתונים מוגשים בפורמט jsonl סטנדרטי ומחולקים ל־73 קבצים נפרדים בעלי שמות עוקבים. המבנה הזה נועד לאפשר טעינה רציפה בסטרימינג ועיבוד מבוזר בלי לטעון את כל הנפח לזיכרון בבת אחת, מה שמקל מאוד על אימון תשתיות גדולות. אין צורך באישור גישה כדי להוריד את הקבצים, הגישה חופשית לחלוטין. לפני שאתם מתחילים לאמן, תצטרכו לפרוס את הקבצים ולבדוק את מבנה המפתחות המדויק בכל רשומת ג'ייסון, שכן הכרטיס מציג קובצי סקריפטים בלבד ולא מפרט שדות מטא-דאטה נלווים מעבר לטקסט הקוד עצמו.

from datasets import load_dataset

ds = load_dataset("ajibawa-2023/Python-Code-Large")

הרישיון

המאגר מופץ תחת רישיון mit. מדובר ברישיון מתירני שמאפשר שימוש מסחרי, שינוי, הפצה ושילוב במערכות סגורות בלי דרישה לשתף את הקוד שלכם באותו רישיון. החובה העיקרית היא שמירה על הודעת זכויות היוצרים המקורית. המשמעות היא שאתם רשאים לאמן עליו מודלים מסחריים בחופשיות, אך כדאי לזכור שהרישיון של המאגר עצמו אינו מבטיח שכל פיסות הקוד שנאספו לתוכו פורסמו במקור תחת רישיון תואם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗