ComPile
קוד פתוחllvm-mlcc-by-4.02023-08-30
המאגר מרכז קוד שנאסף מפרויקטי תוכנה אמיתיים וקומפל לייצוג ביניים של אל אל וי אם. הוא מתאים למי שרוצה לאמן מודלים על פעולות מהדר, אופטימיזציות וניתוח קוד בינארי בחמש שפות תכנות שונות.
- 1,565הורדות בחודש
- 22לייקים
מה זה
כל רשומה מייצגת מודול בודד שנשמר כביטקוד דחוס, לצד מטא דאטה על שפת המקור, חבילת המקור והרישוי המקורי שלה. השדות כוללים את תוכן הביטקוד, מחרוזת זיהוי רישיון לפי תקן אס פי די אקס, אופן זיהוי הרישיון, הפניה לקובצי הרישיון, קישור לחבילת המקור ושם שפת התכנות.
הנתונים הופקו ישירות מתהליכי קומפילציה של קוד פתוח באמצעות התחברות למנהלי חבילות או למהדר עצמו. סך הכל נבנה חומר גולמי בנפח של 990 ג'יגה בייט, שעבר סינון קפדני לפי תנאי רישוי מתירניים ולאחר מכן ניקוי כפילויות, עד לנפח סופי של 602.39 ג'יגה בייט בפורמט ביטקוד.
המאגר מחולק לפי חמש שפות: ראסט, ג'וליה, סי פלוס פלוס, סי, וסוויפט. ראסט וג'וליה מרכיבות את הרוב המוחלט של המידע, בעוד שפות כמו סי וסוויפט מהוות חלקים קטנים בהרבה מסך כל הטוקנים.
מתאים ל
- אימון מודלים להבנת שפת ביניים
אימון מודלי שפה על ייצוג ביניים במקום קוד מקור, לצורך חיזוי ביצועים של קוד בינארי וניתוח התנהגות מהדרים.
- אופטימיזציית מעבר קומפילציה
למידת דפוסים של אופטימיזציות באל אל וי אם על פני מגוון רחב של פרויקטים תעשייתיים בחמש שפות שונות.
- תרגום בין שפות ייצוג
פיתוח כלי המרה אוטומטיים שממירים בין ביטקוד של מהדרים לייצוגים טקסטואליים או לשפות תכנות מקוריות.
איפה זה נופל
חלוקת השפות לא מאוזנת בעליל. ראסט וג'וליה שולטות ברוב הדאטה, בעוד סי הקלאסית כוללת רק 2.47 ג'יגה בייט של ביטקוד. הנתונים מוגבלים לחבילות שהורדו ונבנו בתאריכים 12 עד 13 בינואר 2024, כך שקוד חדש יותר אינו מופיע פה. בנוסף, המידע אינו טקסט קריא רגיל אלא ביטקוד מהדר, מה שמחייב עיבוד נוסף עם כלי מערכת חיצוניים לפני שמתחילים לאמן מודלים שפת קוד סטנדרטיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
המאגר עצמו מופץ ברישיון סי סי בי וואי 4.0, שאינו אוסר פעילות מסחרית. למרות זאת, הקוד שבפנים מגיע מפרויקטים שונים עם רישיונות משלהם, שסוננו להיות מתירניים אך עדיין דורשים התייחסות. יש לבדוק את עמודת הרישיון בכל רשומה כדי להבטיח עמידה בתנאי המקור של התוכנה.
כמה נפח אחסון נדרש כדי לעבוד עם הנתונים?
ההורדה של קובצי הפרקט תופסת מעל 550 ג'יגה בייט בפורמט ביטקוד דחוס. אם ממירים את הביטקוד לייצוג טקסטואלי מלא של אל אל וי אם, הנפח מתרחב ומגיע ליותר מ 2.7 טרה בייט. מומלץ לעבוד בהזרמה אם אין לכם תשתית אחסון מקומית רחבה.
האם יש במאגר טקסט בעברית?
לא, המאגר אינו מכיל שפה טבעית כלל. כל הנתונים מורכבים מקוד בינארי מקומפל לייצוג ביניים של אל אל וי אם מתוך חמש שפות תכנות. גם הערות קוד מקוריות בדרך כלל אינן שורדות את תהליך הקומפילציה לרמת הביטקוד.
איך אספו את הנתונים האלה בפועל?
החוקרים הורידו ובנו פרויקטים אמיתיים בתאריכים 12 עד 13 בינואר 2024. הם התחברו ישירות לתהליך ייצור הקוד של המהדר או מנהל החבילות של כל שפה ושלפו את ייצוג הביניים בזמן אמת. לאחר מכן הם סיננו חבילות לפי סוגי רישיונות וביצעו ניקוי כפילויות מלא.
במה המאגר הזה שונה ממאגרי קוד רגילים כמו גיטהאב?
רוב מאגרי הקוד שומרים קבצי טקסט של שפת המקור, כמו קובצי פייתון או סי רגילים. כאן מקבלים קוד שעבר קומפילציה מלאה לייצוג ביניים נמוך, מה שמציג את הפעולות כפי שהמהדר מנתח אותן בפועל. הדבר מאפשר מחקר ישיר על תהליכי תרגום תוכנה וביצועי חומרה בלי תלות בתחביר השפה העילי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס של האגינג פייס, ללא צורך באישור גישה מוקדם. הורדת כל המאגר דורשת מעל 550 ג'יגה בייט מקום פנוי בכונן המקומי, כך שלבדיקות ראשוניות מומלץ להשתמש בהזרמה או להוריד אחוז מסוים מהחומר. הקבצים שמורים בפורמט פרקט וכוללים ביטקוד גולמי, ולכן כדי לקבל ייצוג טקסטואלי של הקוד יש להריץ את פקודת המערכת אל אל וי אם דיס על תוכן הביטקוד בכל רשומה.
from datasets import load_dataset
ds = load_dataset("llvm-ml/ComPile")הרישיון
האיסוף והארגון של המאגר מפורסמים תחת רישיון סי סי בי וואי 4.0 שמתיר שימוש מסחרי ושינוי, בכפוף למתן ייחוס מתאים. עם זאת, כל מודול קוד בפנים כפוף לרישיון הפרויקט המקורי שממנו הוא קומפל. השדות בכל שורה מציינים את תנאי הרישיון המקוריים, ויש לוודא שאין התנגשות לפני שמשתמשים בקוד או בתוצרי אימון במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס