luau_corpus

מה זה

המאגר כולל קטעי קוד שנאספו ישירות מתוך פרויקטים ברובלוקס, במסגרת תוכנית שיתוף נתונים ייעודית. החומרים מגיעים אך ורק מיוצרים שנתנו אישור מפורש לחלוק את הקוד שלהם עם הציבור, כך שלא מדובר בסריקה עיוורת של משחקים אלא בקוד שנמסר בהסכמה.

התוכן מחולק לקובצי אימון ובדיקה שמגיעים בפורמט שורות ג'ייסון מוכן מראש. כל רשומה כוללת מבנה פשוט של שדה קלט ושדה השלמה, כך שהחומר כבר מאורגן למשימות של המשך קוד או מענה להוראות. לפי התיעוד הנתונים עברו סינון מסוים לפי מדדי איכות שונים, אבל רובלוקס לא מפרטת מה בדיוק נבדק או אילו כללים קבעו מה נכנס פנימה.

מבחינת שפות תכנות, הקוד מכסה גם Lua רגיל וגם Luau, שכולל את ההרחבות והטיפוסים של רובלוקס. המאגר מיועד במקור לשיפור מודלים כלליים, וברובלוקס מדווחים שכוונון עדין על המידע הזה הקפיץ את איכות הקוד של מודל שפה כללי בעשרה עד עשרים אחוזים.

מתאים ל

• אימון השלמת קוד לרובלוקס

  כוונון עדין של מודלי שפה פתוחים כדי שידעו לייצר קוד Luau מדויק לפי התחביר של רובלוקס.

• הערכת ביצועי מודלים

  בדיקת היכולת של כלי פיתוח גנריים להתמודד עם שפת Luau באמצעות קובץ המבחן שבמאגר.

• בניית כלי עזר למפתחים

  שילוב הידע במודלים שמסייעים לתכנות סקריפטים ומערכות בתוך סביבת העבודה של רובלוקס.

איפה זה נופל

רובלוקס מודה שהיא לא ערבה לאיכות הקוד, למרות שהופעלו מסננים. המאגר מכיל רק קוד מיוצרים שבחרו להשתתף בתוכנית השיתוף, מה שיוצר הטיה מובנית. אין פה חלוקה לנושאים או פירוט לגבי אופי הסינון שנעשה, והשפות מוגבלות ללואה ולואו בלבד ללא שום קשר לטקסט בעברית. לפני שמכניסים מודל כזה למוצר צריך לבדוק היטב אם הקוד לא מלמד דפוסים גרועים, שגיאות לוגיות או שיטות עבודה מיושנות מהמשחקים המקוריים.

איך טוענים

הנתונים יושבים בקובצי jsonl פשוטים שמחולקים לקובץ אימון וקובץ בדיקה, בלי צורך לבקש אישור גישה מיוחד. אפשר למשוך אותם ישירות דרך ספריית הדאטהסטס הרגילה או להוריד את הקבצים ידנית. כל שורה מכילה שני שדות מפתח בלבד, פרומפט והשלמה, מה שהופך את הטעינה לתהליך אימון של מודלי שפה לקלה מאוד בלי שלבי עיבוד מקדימים מורכבים.

from datasets import load_dataset

ds = load_dataset("Roblox/luau_corpus")

הרישיון

המאגר מופץ תחת רישיון MIT, מה שנותן חופש כמעט מוחלט. מותר להשתמש בו לצרכים מסחריים, לערוך, להפיץ ולשלב אותו בפרויקטים סגורים. הדרישה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים. אין חובת שיתוף זהה, כך שמודל שאומן עליו יכול להישאר קנייני ומסחרי לחלוטין.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗