PyraNet-Verilog
קוד פתוחbnadimicc-by-nc-sa-4.02024-11-09
המאגר כולל כמעט 700 אלף דוגמאות קוד Verilog עם תיוגי איכות וקומפילציה. הוא פותר את המחסור בדאטה מסודר ומדורג לאימון מודלים לתכנון חומרה.
- 247הורדות בחודש
- 32לייקים
מה זה
הנתונים מבוססים על מאגר VeriBest ונאספו ממקורות רשת שונים דרך BigQuery. יש כאן 692,238 רשומות שמחולקות לשתי עמודות מרכזיות של קוד ותיאור. כל דגימה עברה בדיקת הידור מול Icarus Verilog, כך שקטעי קוד עם שגיאות תחביר נזרקו החוצה לגמרי, ונשארו רק קטעים תקינים או כאלה שסובלים מבעיות של תלויות חסרות.
עמודת התיאור בנויה כמילון שמכיל הסבר מילולי, סטטוס והערות הקומפילציה, ציון דירוג ורמת מורכבות. הדירוג נע בין 0 ל־20 ונקבע באמצעות מודל GPT-4o-mini שבדק יעילות וסגנון כתיבה. רמות המורכבות סווגו לארבע דרגות מבסיסי ועד מומחה לפי מתודולוגיית MEV-LLM, כדי לאפשר בנייה של היררכיית למידה מדורגת.
מתאים ל
- אימון מודלים לייצור חומרה
כוונון מודלי שפה על קוד Verilog שנבדק תחבירית יחד עם הסברים מילוליים.
- סינון דאטה לפי מורכבות
בניית מסלולי אימון מדורגים לפי ארבע רמות קושי שמוגדרות מראש בכל רשומה.
- הערכת סגנון קוד חומרה
בדיקת יכולת המודל לזהות יעילות ואיכות כתיבה ביחס לדירוג שנקבע בדאטהסט.
איפה זה נופל
הדירוג של הקוד בוצע כולו על ידי GPT-4o-mini, מה שאומר שהטיות הסגנון והטעויות של מודל שפה מובנות עמוק בתוך הציונים. בנוסף, כל הטקסטים וההסברים כתובים באנגלית בלבד. חלק גדול מהדוגמאות כולל בעיות תלויות שמונעות הידור עצמאי חלק, ומאחר שהחומר נאסף מרחבי הרשת דרך שאילתות, היוצרים עצמם מודים שהם לא יכולים לאמת את הרישיונות המקוריים של חלקי הקוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0 ומגביל את השימוש למטרות לא מסחריות בלבד. כל שימוש בתוך חברה מסחרית או אימון מודל שיימכר ללקוחות מהווה הפרה של תנאי הרישיון.
האם יש תמיכה או ייצוג לשפה העברית?
אין שום עברית במאגר. כל התיאורים וההסברים של קטעי הקוד כתובים באנגלית בלבד, כפי שמקובל בפרויקטי קוד חומרה.
מאיפה הקוד נאסף והאם הוא תקין לחלוטין?
הנתונים נאספו ממאגרים ציבוריים ברשת באמצעות BigQuery ונבדקו באמצעות המהדר Icarus Verilog. קוד עם שגיאות תחביר נופה החוצה, אבל קטעים עם בעיות של תלויות וקבצים חסרים עדיין נמצאים בפנים ומסומנים בהתאם.
מה מבדיל את המאגר הזה ממאגרי Verilog אחרים?
ההבדל העיקרי הוא המבנה ההיררכי והעושר של המטא-דאטה. מעבר לקוד עצמו יש כאן ציוני איכות בין 0 ל־20, סיווג לארבע רמות קושי ונתוני קומפילציה מלאים שמצורפים לכל דוגמה.
איך טוענים
טוענים את המאגר ישירות בספריית datasets הרגילה של פייתון באמצעות הנתיב bnadimi/PyraNet-Verilog, בלי צורך באישור גישה מוקדם או מפתחות מיוחדים. הקובץ המרכזי מגיע בפורמט CSV תחת השם PyraNetOnVeriBest.csv. לפני שרצים לאמן, צריך לשים לב שעמודת התיאורים מכילה מילון מקונן עם מחרוזות, ולכן חייבים לבצע פיענוח שלו כדי לגשת לנתוני הדירוג, סטטוס ההידור ורמת המורכבות.
from datasets import load_dataset
ds = load_dataset("bnadimi/PyraNet-Verilog")הרישיון
המאגר פורסם תחת רישיון cc-by-nc-sa-4.0. השימוש מוגבל למחקר בלבד ואסור לכל צורך מסחרי. חובה לתת קרדיט ליוצרים, וכל מודל או נגזרת שתאמנו עליו חייבים להיות משוחררים תחת אותו רישיון בדיוק. אם החברה שלכם בונה מוצר סגור או מוכרת שירותים, הדאטהסט הזה פשוט לא בשבילכם.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא