PHP-Code-Large
קוד פתוחajibawa-2023mit2026-02-22
מאגר קוד פתוח שמרכז מעל 12 מיליון שורות PHP ומיועד לאימון מודלים להבנת שפת שרת. הוא מתאים למי שרוצה לבנות כלי השלמת קוד או ניתוח סטטי בלי לערבב שפות תכנות אחרות.
- 1,287הורדות בחודש
- 22לייקים
מה זה
המאגר מחולק ל־71 קבצים שונים, רובם קובצי jsonl ממוספרים שמתחילים בשם php_script_only. כל רשומה בקבצים האלה מייצגת קוד PHP יחיד במבנה מוגדר, ומכילה את הטקסט המקורי של הסקריפט.
התוכן מכסה סגנונות מגוונים של השפה, החל מקוד ישן בגרסאות 5 וכלה בתחביר מודרני של גרסאות 7 ו־8 עם הצהרות טיפוסים מחמירות. יש שם דוגמאות למחלקות, ממשקים, פונקציות חץ, שימוש ב־Composer, עבודה עם מסדי נתונים דרך PDO ו־MySQLi, וארכיטקטורות שלמות כמו MVC, מערכות CMS ו־APIs.
הכרטיס לא מפרט מאיזה מאגרים או פרויקטים ספציפיים הקוד נאסף, ולא מציין אם נעשה סינון כלשהו של כפילויות, בדיקות איכות או סריקות אבטחה לפני האריזה.
מתאים ל
- אימון מודל להשלמת קוד
לימוד תחביר PHP מגוון עבור תוספי IDE ועוזרי פיתוח שמציעים קוד בזמן אמת.
- הסבת מערכות ישנות
אימון מודלים שמתמחים בשדרוג קוד לגאסי של PHP 5 למבנים מודרניים של PHP 8.
- זיהוי כפילויות ובאגים
ניתוח סטטי ומחקר הנדסת תוכנה על מבני מחלקות, שימוש בספריות ותבניות MVC.
איפה זה נופל
הבעיה המרכזית היא חוסר השקיפות לגבי מקור הקוד ותהליך הסינון. הכרטיס לא מציין אילו בדיקות איכות נעשו, והעובדה שיש שם קוד לגאסי מגרסה 5 לצד קוד מודרני מגרסה 8 אומרת שתקבלו דפוסים מיושנים ולא בטוחים.
בנוסף, הטקסטים וההערות מוגדרים באנגלית בלבד, ואין מידע על חפיפות או כפילויות בין הקבצים. מי שבונה מודל לאבטחה או להשלמת קוד יצטרך לסנן לבד פגיעויות אבטחה ופרקטיקות בעייתיות מתוך הדאטה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא MIT, שמתיר שימוש מסחרי מלא ללא הגבלות מיוחדות. התנאי היחיד הוא שמירת הודעת הרישיון והקרדיט המקורי במסמכי הפרויקט שלכם.
האם יש במאגר הערות או טקסט בעברית?
לא, השפה היחידה שמוגדרת במאגר היא אנגלית. כל התיעוד והערות הקוד בנויים סביב ספריות ותבניות שנכתבו באנגלית.
מאיפה הגיע הקוד ואיך הוא סונן?
יוצר המאגר לא מספק מידע על מקור הקבצים, אופן האיסוף או שיטות הסינון שבוצעו. תצטרכו להניח שהקוד מכיל גם טעויות, פגיעויות אבטחה וכפילויות, ולבצע ניקוי עצמאי.
באיזה פורמט הנתונים מגיעים וכמה קבצים יש שם?
החומר מחולק ל־71 קבצים, רובם המוחלט בפורמט jsonl שמתחילים בשם php_script_only. כל שורה בקובץ מכילה רשומת קוד אחת שמוכנה לעיבוד ישיר.
איך טוענים
כדי להתחיל לעבוד איתו, מושכים את הקבצים ישירות מהעמוד של המאגר בלי צורך בהרשאה מוקדמת או אישור גישה מיוחד. הנתונים מאוחסנים בפורמט jsonl מפוצל, כך שלא חייבים להוריד הכל בבת אחת ואפשר לקרוא קובץ אחרי קובץ בסקריפט פייתון פשוט.
לפני שמריצים טעינה לתוך צינור אימון, קחו בחשבון שיש שם 71 קבצים והכרטיס מסווג את גודל הרשומות הכללי בטווח שבין 10 ל־100 מיליון פריטים. מומלץ לבדוק תחילה קובץ בודד כמו php_script_only_0000.jsonl כדי לראות את מבנה המפתחות המדויק בכל שורה ולהתאים את הטוקנייזר לקוד לפני שמעבדים את כל החבילה.
from datasets import load_dataset
ds = load_dataset("ajibawa-2023/PHP-Code-Large")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף את המודל המאומן או את המוצר הסופי תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש