Verilog_GitHub
קוד פתוחshailjamit2022-12-19
מאגר מודולים של שפת Verilog שנשלפו מגיטהאב דרך ביגקוורי. הוא מיועד למי שרוצה לאמן או לבדוק מודלי שפה לכתיבת קוד חומרה ומחפש נתונים ששימשו במחקר VeriGen.
- 384הורדות בחודש
- 31לייקים
מה זה
המאגר כולל רשומות של מודולים שלמים בשפת תיאור החומרה Verilog. כל הנתונים נשלפו ממאגר גיטהאב הציבורי שזמין בתוך Google BigQuery, כחלק מעבודת מחקר שבדקה יצירת קוד RTL אוטומטית בעזרת מודלי שפה גדולים.
לפי מה שמדווח בכרטיס, כדי לאמן את המודל שלהם בוצע סינון של כפילויות מדויקות תוך התעלמות מרווחים לבנים, והוסרו מודולים ארוכים מאוד שהכילו מעל 20,000 תווים. אין כאן חלוקה מובנית לסט בדיקה או ולידציה, אלא רק חלוקה אחת של אימון ששמורה בקובץ CSV יחיד בשם Verilog_bigquery_GitHub.csv.
הקוד עצמו נאסף כפי שהוא מתוך המאגרים ברשת, בלי תהליכי ניקוי מיוחדים מעבר להגבלת האורך והכפילויות. זה אומר שהרשומות משקפות קוד מקור אמיתי שנכתב על ידי מפתחים שונים לאורך השנים, על כל המשתמע מכך לגבי סגנון הכתיבה והמבנה.
מתאים ל
- אימון מודלים לחומרה
אימון מקדים או כוונון עדין של מודלי שפה ליצירת קוד RTL בשפת Verilog.
- שחזור מחקר VeriGen
בדיקה והשוואה של ביצועי מודלים מול המאגר ששימש במאמר האקדמי מ־2022.
- ניתוח איכות קוד RTL
מחקר על שגיאות נפוצות, פגיעויות אבטחה וסגנונות כתיבה של Verilog ברשת.
איפה זה נופל
הכרטיס מצהיר בפירוש שהנתונים עלולים להכיל קוד פגיע, קוד שלא מתקמפל בכלל, וקוד באיכות ירודה. מעבר לכך, לא בוצע סינון של רישיונות המקור בעת איסוף הקבצים מגיטהאב. המודל עלול לפלוט קוד מילה במילה ממאגר מקורי שדורש ייחוס או תנאי שימוש מגבילים, כך שאי אפשר להכניס תוצרים שלו למוצר מסחרי בלי בדיקה מעמיקה של מקור הקוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
זה מסוכן. מעבר לסתירה בין הצהרת MIT לבין רישיון OpenRAIL-M בטופס הגישה, החוקרים מציינים שלא סיננו את הרישיונות של המאגרים המקוריים בגיטהאב. מודל שתאמנו עלול לפלוט קוד מוגן בזכויות יוצרים.
האם יש במאגר תמיכה בעברית?
לא. המאגר מכיל אך ורק מודולים של קוד בשפת Verilog באנגלית, שנאספו מתוך פרויקטים ציבוריים בגיטהאב.
איך נאספו הנתונים ומאיפה?
הנתונים נשלפו ממאגר הנתונים הציבורי של גיטהאב שזמין ב־BigQuery. לצורך אימון מודל המחקר, החוקרים סיננו כפילויות מדויקות והסירו קבצים שחצו 20,000 תווים.
האם הקוד במאגר בדוק ומוכן לשימוש בחומרה אמיתית?
ממש לא. כרטיס המאגר מזהיר במפורש שהנתונים עשויים לכלול קוד שלא עובר קומפילציה, קוד באיכות נמוכה וקוד עם חולשות אבטחה.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של פייתון בפקודה load_dataset עם שם המאגר והגדרה של split כ־train. הכרטיס מציג דוגמת קוד שעושה שימוש בהזרמה דרך פרמטר streaming שמוגדר כ־True. המאגר מוגדר כ־gated, כך שתצטרכו לסמן תיבת אישור לתנאי רישיון OpenRAIL-M של BigCode לפני שתוכלו להוריד או להזרים את קובץ ה־CSV.
from datasets import load_dataset
ds = load_dataset("shailja/Verilog_GitHub")הרישיון
במטא-דאטה מוגדר רישיון MIT, אך גוף הטקסט וטופס הגישה דורשים הסכמה לרישיון OpenRAIL-M של BigCode. הרישיון הזה מטיל מגבלות שימוש ספציפיות על יישומים מסוכנים ומחייב לעמוד בתנאי הפצה. בנוסף, קוד המקור עצמו הגיע ממאגרים שונים בלי סינון רישיונות, כך שהשימוש בו עלול לחשוף אתכם להפרות זכויות יוצרים של קוד המקור המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש