Java-Code-Large

מה זה

המאגר כולל קוד מקור מלא בג'אווה שמגיע ממאגרי קוד פתוח ציבוריים. בפנים תמצאו מגוון רחב של רכיבי שפה, החל ממחלקות, ממשקים ואינאמים, דרך מתודות והערות ג'אווה-דוק, ועד מבנים של טיפול בשגיאות, ג'נריקס ורכיבי ריצה במקביל. המטרה כאן היא לתת תמונת מצב רחבה של השפה כפי שהיא נכתבת בפועל בפרויקטים אמיתיים ברשת.

התוכן שמור בפורמט jsonl ומחולק על פני 73 קבצים שונים בעלי שמות עוקבים. בכרטיס המאגר לא מופיע תיעוד על תהליך סינון כלשהו, כך שלא ברור אם הוסרו כפילויות, אם נבדקה איכות הקוד, או אם בוצע ניקוי כלשהו של ספריות חיצוניות שנמשכו אוטומטית. מקבלים את הקוד הגולמי כפי שנאסף מהרשת ללא חלוקה מובנית לסט אימון, בדיקה או ולידציה.

מתאים ל

• אימון מודל שפה לג'אווה

  אימון מקדים או המשך אימון של מודלי קוד המתמקדים אך ורק בשפת ג'אווה ללא רעש משפות אחרות.

• השלמת קוד וכלי עזר

  כוונון עדין של מודלים שמיועדים להשלמת קוד, שכתוב אוטומטי ובניית תוספים לסביבות פיתוח.

• זיהוי באגים ודפוסים

  אימון מודלים לניתוח סטטי, איתור שגיאות נפוצות וזיהוי תבניות כתיבה בפרויקטי תוכנה.

איפה זה נופל

הבעיה המרכזית היא היעדר שקיפות מלא סביב אופן האיסוף והניקוי. הכרטיס לא מציין אם יש סינון לכפילויות, האם נבדק קוד שמכיל באגים או חולשות אבטחה, ומאילו רישיונות מקוריים נאסף הקוד. בנוסף, השפה האנושית היחידה שמתועדת היא אנגלית, כך שאין כאן הערות בעברית. לפני שמכניסים את זה למוצר, חובה להריץ בדיקות דה-דופליקציה ולוודא שאין בפנים דליפות של מידע רגיש.

איך טוענים

אתם מושכים את הנתונים ישירות דרך ספריית הדאטהסטים הרגילה בלי צורך בהרשאות מיוחדות או אישור גישה מוקדם. הכל מגיע בקבצי jsonl מחולקים, כמו java_only_0000.jsonl וההמשכים שלו, מה שמקל על הורדה במקביל. כדאי לקחת בחשבון שמדובר ביותר מ־15 מיליון רשומות, כך שטעינה של כל המאגר לזיכרון בבת אחת תדרוש שטח אחסון משמעותי ועיבוד בזרם נתונים במקום טעינה מלאה.

from datasets import load_dataset

ds = load_dataset("ajibawa-2023/Java-Code-Large")

הרישיון

המאגר פורסם תחת רישיון MIT, שמתיר שימוש מסחרי, שינוי והפצה בלי דרישה לפתוח את הקוד שלכם, כל עוד שומרים על הודעת זכויות היוצרים המקורית. עם זאת, מכיוון שהקוד נאסף ממאגרים ציבוריים שונים בלי לפרט את הרישיונות המקוריים שלהם, יש סיכון משפטי לא מבוטל אם חלק מהפרויקטים המקוריים השתמשו ברישיונות מגבילים יותר.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗