Strandset-Rust-v1
קוד פתוחFortytwo-Networkapache-2.02025-09-29
מאגר סינתטי ממוקד לראסט שמכיל מעל 191 אלף דוגמאות ב־15 קטגוריות שונות. הוא מיועד למי שרוצה לאמן מודלי שפה על תחביר קשיח שנבדק מול המהדר הרשמי.
- 406הורדות בחודש
- 44לייקים
מה זה
המאגר מכיל 191,008 רשומות שמבוססות על שליפת דפוסים ואידיומטיקה מתוך יותר מ־2,300 חבילות פופולריות מ־crates.io. על בסיס המקורות האלה, רשת מודלים קטנים יצרה מעל 200,000 מועמדים שעברו תהליך ביקורת עמיתים ודירוג הסכמה בין צמתים שונים ברשת. דוגמאות עם ציון הסכמה נמוך מ־0.7 נזרקו החוצה.
התוכן מחולק ל־15 משימות פיתוח, מיצירת פונקציות מלאות ותיעוד ועד זיהוי באגים, בדיקות יחידה והשלמת קוד. כל רשומה כוללת את שם החבילה שממנה נלקח ההקשר, קטגוריית המשימה, מבנה קלט שמכיל כותרת, תיאור וקוד מקור, ומבנה פלט שמחזיר את הפתרון. החלוקה הפיזית במאגר מופרדת לשני קבצי Parquet שמייצגים אימון ובדיקה.
מתאים ל
- אימון משלים למודלי קוד
חיזוק מודלי בסיס בהבנת בעלות ושאילת משאבים בראסט על בסיס דוגמאות ממוקדות שנבדקו מול המהדר.
- בניית סוכן סקירת קוד
אימון מודל על קטגוריות של איתור באגים, הצעת שמות למשתנים ושיפור קריאות לקוד קיים.
- הערכת ביצועי מודלים
שימוש בחלק ה־test כדי לבדוק יכולת פתרון בעיות ראסט מול קוד שנבדק ב־rustc.
איפה זה נופל
זהו דאטה סינתטי שנוצר ברובו על ידי מודלים קטנים, מה שעלול להחדיר דפוסים חזרתיים. שיעור ההצלחה בקומפילציה עומד על 94.3 אחוז, כלומר קרוב ל־6 אחוז מהדוגמאות אינן מתקמפלות ב־rustc למרות הבדיקות. אם אתם בונים מודל שמיועד לייצור, תצטרכו להריץ סינון קומפילציה משלכם לפני האימון. בנוסף, משימות טקסטואליות כמו תיעוד נבדקו מול מודלים מסחריים ולא באגים אנושיים, ואין כאן אף מילה בעברית, כל התיאורים וההקשרים באנגלית טכנית בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון Apache 2.0 מתיר שימוש מסחרי ללא תשלום תמלוגים. התנאי העיקרי הוא מתן קרדיט ושמירה על נוסח הרישיון המקורי בקבצים הרלוונטיים. מודל שתאמנו על המידע יכול לשמש כבסיס לשירות בתשלום.
האם כל הדוגמאות עוברות קומפילציה בלי שגיאות?
לא. המפרסמים מדווחים על שיעור הצלחה של 94.3 אחוז ב־rustc. המשמעות היא שישנם אלפי קטעי קוד עם שגיאות תחביר או טיפוסים, וכדאי לסנן אותם עצמאית לפני תהליך האימון.
האם יש במאגר תמיכה או טקסט בעברית?
אין במאגר עברית בכלל. כל ההוראות, התיעודים, שמות המשתנים וההסברים כתובים באנגלית בלבד, כפי שמקובל במערכת האקולוגית של crates.io.
במה שונה המאגר ממאגרי קוד רגילים שנמשכו מגיטהאב?
הנתונים כאן לא נאספו כקוד גולמי ממאגרים אלא נוצרו באופן סינתטי על ידי רשת מודלים תוך ביקורת עמיתים, בהשראת 2,300 חבילות מובילות. בנוסף, הדוגמאות מתוייגות מראש לפי 15 משימות תוכנה ספציפיות.
איך טוענים
טוענים את המאגר ישירות דרך הספרייה הרגילה של Hugging Face בפקודת load_dataset ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט Parquet בחלוקה ל־train ו־test. המבנה הפנימי הוא אובייקט עם שדות crate_name, task_category, וכן input_data ו־output_data שמכילים את המפרט והקוד. אורך הדוגמה הממוצע עומד על 127 טוקנים, כך שמדובר בקטעים קצרים וממוקדים.
from datasets import load_dataset
ds = load_dataset("Fortytwo-Network/Strandset-Rust-v1")הרישיון
המאגר מופץ תחת רישיון Apache 2.0 המאפשר שימוש מסחרי מלא, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובת שיתוף תחת אותו רישיון, ומודלים שמאומנים על המידע אינם כבולים למגבלות שימוש מסחריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים