DISL
קוד פתוחASSERT-KTHmit2024-02-02
המאגר מרכז קוד מקור של חוזים חכמים מאומתים מתוך רשת אתריום. הוא מיועד למי שבונה מודלים ליצירת קוד או בודק כלי ניתוח על נתוני אמת מעולם הבלוקצ'יין.
- 1,072הורדות בחודש
- 16לייקים
מה זה
הנתונים נאספו ישירות מרשת הראשית של אתריום עד לבלוק 19010000, שנכרה ב־15 בינואר 2024. מדובר בחוזי Solidity אמיתיים שנפרסו בפועל על הרשת, כך שהתוכן מייצג קוד שנכתב לשימוש חי ולא תרגילים תיאורטיים.
המאגר מחולק לשני תתי מאגרים שונים לחלוטין בהיקף שלהם. החלק הראשון נקרא raw וכולל 3,298,271 חוזים מלאים כפי שהם, ללא ניקוי כפילויות. החלק השני נקרא decomposed והוא הגרסה המזוקקת יותר. בחלק זה פירקו את החוזים לקבצי Solidity בודדים וביצעו סינון כפילויות באמצעות מדד דמיון Jaccard עם סף של 0.9, מה שהשאיר 514,506 קבצים ייחודיים.
בגרסה המסוננת יש ירידה חדה בכמות הרשומות לעומת המקור הגולמי, מה שמראה עד כמה רשת אתריום מלאה בשכפולים של אותם חוזים בדיוק. החלוקה הזו מאפשרת לבחור בין אימון על נפח גולמי מלא לבין עבודה ממוקדת על קוד מגוון יחסית.
מתאים ל
- אימון מודלי שפה לקוד
אימון מודלים גנרטיביים להשלמת קוד וכתיבת חוזים חכמים ב־Solidity על בסיס חצי מיליון קבצים ייחודיים.
- בדיקת כלי ניתוח סטטי
הרצת כלי אבטחה ובדיקת תוכנה על מאגר של מעל שלושה מיליון חוזים שנפרסו על הרשת הראשית.
- מחקר כפילויות בבלוקצ'יין
השוואה בין גרסת raw לגרסת decomposed כדי לחקור דפוסי העתקה ושימוש חוזר בקוד באתריום.
איפה זה נופל
החיתוך נעצר באמצע ינואר 2024, כך שחוזים שנפרסו מאז, כולל תקנים חדשים או שינויים בתחביר השפה, אינם קיימים כאן. בנוסף, כל החוזים מגיעים מאתריום בלבד ולא מרשתות בלוקצ'יין אחרות. השפה היחידה היא Solidity, וטקסט נלווה כמו תיעוד או הערות מופיע באנגלית בלבד, בלי שום עברית. הכרטיס לא מדווח אם הקוד תקין, פגיע לפריצות או עבר ביקורת אבטחה, ולכן אימון עיוור עלול ללמד את המודל לכתוב חולשות אבטחה ידועות שקיימות ברשת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא MIT שמתיר במפורש שימוש מסחרי. אתם יכולים לאמן עליו מודלים ולמכור גישה אליהם, בתנאי שתשמרו על תנאי הרישיון המקוריים במסמכי הפרויקט.
באיזה חלק של הדאטהסט עדיף להשתמש לאימון?
לרוב המודלים עדיף להשתמש בתצורת decomposed. היא כוללת כ־514 אלף קבצים שעברו ניקוי כפילויות עם סף דמיון של 0.9, מה שמונע מהמודל ללמוד שוב ושוב את אותם חוזים משוכפלים שקיימים בגרסת raw.
האם יש במאגר תמיכה בעברית?
לא. כל הנתונים הם קוד מקור ב־Solidity והערות המפתחים שנכתבו באנגלית. אין במאגר טקסט בעברית.
עד מתי הנתונים מעודכנים?
תאריך החיתוך של המאגר הוא 15 בינואר 2024, סביב בלוק מספר 19010000 של אתריום. קוד שנפרס מאוחר יותר אינו נכלל.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של פייתון, עם פקודת load_dataset שמקבלת את השם של המאגר ואת התצורה הרצויה, raw או decomposed. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הקבצים נשמרים בפורמט parquet ומחולקים לעשרות קטצים, כך שההורדה מנוהלת בחלקים. השדה המרכזי שמעניין את רוב המפתחים נקרא source_code, והוא מכיל את טקסט הקוד עצמו.
from datasets import load_dataset
ds = load_dataset("ASSERT-KTH/DISL")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים, הפצה ושילוב בתוך מוצרים סגורים. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי. מותר לאמן מודלים על הדאטהסט הזה, ואין חובה לפתוח את קוד המודל או את המשקולות שלו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש