C-Code-Large
קוד פתוחajibawa-2023mit2026-03-17
מאגר ממוקד של מעל ארבעה מיליון קטעי קוד ושדות מקור בשפת C. מי שמאמן מודל להשלמת קוד או ניתוח סטטי למערכות משובצות וקרנל ימצא כאן נפח נקי מרעש של שפות אחרות.
- 996הורדות בחודש
- 16לייקים
מה זה
המאגר כולל יותר מארבעה מיליון רשומות שמכילות קטעי קוד, קבצי מקור מלאים וקבצי כותרת בפורמט jsonl. התוכן מכסה גרסאות שונות של השפה, כולל תקני ANSI C, C89, C99 וגם C11. הדוגמאות בפנים נעות מתחביר בסיסי של פונקציות ולולאות ועד מבנים מורכבים יותר כמו מצביעים כפולים, אריתמטיקה של מצביעים, הקצאות זיכרון ידניות, מבני נתונים מותאמים אישית והגדרות פרה-פרוססור.
בכרטיס התיעוד המקורי לא מפורט מאיזה מאגרים נאסף הקוד, מי הפרויקטים שנכנסו פנימה או מה היו שלבי הסינון והניקוי המדויקים, אם בכלל בוצעו. הקבצים עצמם מחולקים ל־72 קובצי jsonl ממוספרים, כך שאין חלוקה מובנית לנושאים, לתקני שפה או לרמות איכות שונות. מדובר פשוט באוסף גולמי עצום שמיועד למפתחים שרוצים חומר אימון ממוקד לשפה ספציפית בלי תערובת של שפות מודרניות יותר.
מתאים ל
- אימון מודל קוד למערכות
אימון בסיס או המשך אימון של מודלי שפה עבור השלמת קוד ופיתוח בסביבות זיכרון מוגבלות.
- זיהוי באגים וחולשות
פיתוח כלי ניתוח סטטי לזיהוי גלישות חוצץ, דליפות זיכרון ושימוש שגוי במצביעים.
- מחקר טוקניזציה לשפת C
בנייה והערכה של מילוני טוקנים ייעודיים לתחביר פרוצדורלי והוראות קדם-מעבד.
איפה זה נופל
הבעיה המרכזית כאן היא היעדר תיעוד על מקור הקוד. לא ברור אם הקוד נסרק מגיטהאב, אילו רישיונות מקוריים היו לפרויקטים, והאם בוצע סינון של דליפות זיכרון, באגים או חולשות אבטחה חמורות. הכרטיס מודה במפורש שהמאגר כולל מלכודות נפוצות כמו מצביעים תלויים, כך שאימון עיוור בלי סינון עלול ללמד את המודל לכתוב קוד פגיע. בנוסף, כל התיעוד וההערות בקוד הם באנגלית בלבד ואין כאן עברית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי של המאגר הוא MIT, והוא מתיר שימוש מסחרי מלא בלי דרישה לפתוח את הקוד שלכם. עם זאת, היוצרים לא מפרטים מאיפה הגיעו 4 מיליון הדוגמאות, ולכן אי אפשר לדעת בוודאות אם נכלל שם קוד ממקורות עם רישיונות הדדיים כמו GPL. אם אתם בונים מוצר קנייני, כדאי לקחת את הסיכון הזה בחשבון לפני האימון.
האם יש במאגר הערות או תיעוד בעברית?
לא, כל הטקסטים וההערות בתוך קבצי המקור הם באנגלית בלבד. המאגר כולל קוד C תקני שנאסף מסביבות פיתוח בינלאומיות ואין בו תמיכה או ייצוג לשפה העברית.
איך נאסף הקוד והאם הוא נקי מבאגים?
כרטיס הדאטהסט לא מספק מידע על תהליך האיסוף, הסריקה או הסינון שעברו הקבצים. למעשה, הכרטיס מציין במפורש שהחומר כולל דפוסים בעייתיים כמו דליפות זיכרון ומצביעים תלויים. מומלץ מאוד להריץ כלי סינון ובדיקות איכות משלכם לפני שמזינים את הנתונים למודל.
מה ההבדל בין המאגר הזה למאגרי קוד כלליים?
רוב מאגרי הקוד הגדולים מכילים תערובת של עשרות שפות פיתוח כמו פייתון, ג'אווה וסקריפטים שונים. המאגר הזה מתמקד אך ורק בשפת C וכולל ארבעה מיליון דוגמאות של קוד מערכות, מה שמונע רעש של שפות מודרניות ומספק ריכוז גבוה של ניהול זיכרון ידני ותחביר פרוצדורלי.
איך טוענים
הנתונים פתוחים לציבור ואין צורך בבקשת גישה מיוחדת כדי להתחיל לעבוד. המאגר מפוצל ל־72 קבצי jsonl נפרדים בשמות ממוספרים, ולכן תצטרכו להוריד אותם ישירות או להשתמש בספריית datasets כדי להזרים אותם לפי הצורך. לפני שמתחילים לאמן, כדאי לטעון כמה קבצים ראשונים, לבדוק את מבנה השדות הפנימי ולוודא שהפורמט מתאים לטוקנייזר ולצינור הנתונים שלכם.
from datasets import load_dataset
ds = load_dataset("ajibawa-2023/C-Code-Large")הרישיון
המאגר פורסם תחת רישיון MIT, מה שמתיר שימוש מסחרי, מחקרי, שינוי והפצה כמעט ללא הגבלה, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון הזה מתיר לאמן מודלים למוצרים מסחריים בלי לחייב אתכם לפתוח את קוד המקור של המודל או לחלוק אותו באותו רישיון. יחד עם זאת, מאחר שמקורות הקוד שבפנים לא נחשפו, קיים סיכון משפטי שקטעים מסוימים נלקחו במקור מפרויקטים בעלי רישיונות מגבילים יותר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש