the-stack-rust-clean
קוד פתוחammarnasropenrail2023-07-30
זהו מאגר קוד ראסט מסונן מתוך The Stack שמיועד לאימון מודלים קטנים. החומר חוסך ניקוי ידני של קבצים משובשים ומתאים ישירות למשימות השלמת קוד.
- 509הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל מיליון קבצי קוד בשפת ראסט שנלקחו מתוך The Stack, קורפוס הקוד הפתוח מגיטהאב. המטרה כאן היתה לחתוך נתח ממוקד כדי לייעל אימון של מודלי שפה קטנים יותר על שפה סטטית פופולרית, בלי לסחוב את כל המשקל של הקורפוס המקורי.
הסינון שעשו כאן טכני וקפדני למדי. נזרקו החוצה קבצים שבהם אורך השורה הממוצע עולה על 100 תווים, שורות בודדות שחורגות מ־1000 תווים, וקבצים ששיעור התווים האלפביתיים בהם נמוך מ־25 אחוזים, מה שמנקה בעיקר קוד ממוחשב, קבצי הגדרות או בינאריים שנכנסו בטעות. המאגר מחולק לתשעים אחוז אימון שכוללים 900,000 קבצים, חמישה אחוזי אימות עם 50,000 קבצים, וחמישה אחוזי בדיקה עם 50,000 קבצים נוספים.
מתאים ל
- אימון מודל ייעודי לראסט
אימון מודלי שפה קטנים להשלמת תחביר ופונקציות בראסט על נתונים נקיים מרעשי שורות ארוכות.
- כיול עדין למפתחים
כיול מודל בסיס קיים לאורך הקשר של 1024 או 2048 טוקנים כדי לשפר הצעות קוד בעורך.
- בדיקת ביצועים על קוד
שימוש בסט הבדיקה שמכיל 50,000 קבצים כדי להעריך יכולות גנרציה של מודלים מול קוד קיים.
איפה זה נופל
הסינון התמקד במבנה השורות ולא באיכות הקוד או ביכולת שלו להתקמפל. אם הפרויקט המקורי בגיטהאב הכיל באגים, דפוסים גרועים או קוד שבור, הם עדיין שם בפנים. שפות טבעיות כמעט ולא קיימות כאן מעבר להערות קוד, עברית אין בכלל, וההקשר מוגבל לחלוטין לקבצי ראסט בודדים בלי התחשבות במבנה הפרויקט השלם או בתלויות חיצוניות.
שאלות
נפוצות
מאיפה הקוד הזה הגיע במקור?
החומר נחתך מתוך The Stack Corpus, שמכיל מעל שלושה טרה-בייט של קוד פתוח מגיטהאב על פני עשרות שפות. היוצר בחר מתוכו רק את קבצי הראסט והעביר אותם ניקוי.
האם המאגר כולל עברית?
לא. מדובר בקוד מקור בשפת ראסט שנאסף ממאגרים ציבוריים, כך שהטקסט מורכב מתחביר השפה ומהערות קוד, כמעט תמיד באנגלית בלבד.
האם מותר להשתמש בזה למוצר מסחרי?
הרישיון המדווח הוא openrail, שמאפשר שימוש אך כולל תנאי שימוש מקובלים שמגבילים תחומים מסוימים. צריך לוודא שהמוצר שלכם עומד בכללי השימוש של הרישיון לפני שמאמנים מודל לייצור.
איזה סינון בוצע על הנתונים?
נמחקו קבצים עם שורות ארוכות מדי, מעל 100 תווים בממוצע או מעל 1000 תווים בשורה בודדת. בנוסף הוסרו קבצים עם פחות מרבע תווים אלפביתיים כדי לסנן נתונים בינאריים וטבלאות.
איך טוענים
הנתונים יושבים בקבצי Parquet מחולקים, עם 24 קבצים לחלק האימון ועוד שני קבצים לחלק הבדיקה, לצד קובצי ולידציה. טוענים אותם ישירות דרך ספריית הדאטהסטס הרגילה של האגינג פייס לפי המזהה, בלי צורך בטופסי הרשאה מיוחדים או אישור גישה ידני. מי שבונה פייפליין לאימון צריך לקחת בחשבון שהיוצרים איחדו את הטקסטים לרצפים של 2048 טוקנים באמצעות טוקנייזר BPE מבוסס GPT-2, עם הרחבה לטאבים ורווחים, או 1024 טוקנים בכיול מלא.
from datasets import load_dataset
ds = load_dataset("ammarnasr/the-stack-rust-clean")הרישיון
המאגר מדווח תחת רישיון openrail. הרישיון הזה מתיר שימוש ומחקר, אבל מטיל מגבלות שימוש ספציפיות על יישומים מסוימים שנחשבים מזיקים, ודורש להעביר את אותן הגבלות הלאה אם מפיצים מודל שאומן עליו. זה לא רישיון קוד פתוח מתירני רגיל כמו MIT, ולכן שימוש בתוצרים מסחריים מחייב בדיקה של תנאי הרישיון המדויקים מול השימוש המתוכנן.
- שימוש מסחרי
- שינוי הקוד
- מגבלות שימוש ברישיון