code_x_glue_tc_text_to_code
קוד פתוחgooglec-uda2022-03-02
זוגות של תיאור באנגלית וקוד ג'אווה שנשלפו מתיעוד רשמי, מיועדים לאימון מודלים של כתיבת קוד. מתאים בעיקר לבנצ'מרק מדויק במשימות תרגום טקסט לפונקציות.
- 853הורדות בחודש
- 30לייקים
מה זה
המאגר כולל זוגות של שפת מקור ויעד שנועדו למשימת תרגום מטקסט חופשי לקוד. כל רשומה מורכבת מתיאור קצר באנגלית של פעולה מסוימת ומקטע קוד בשפת ג'אווה שמממש אותה. המידע נאסף מסריקה וסינון של התיעוד הטכני של מיקרוסופט בגיטהאב, כך שמדובר בדוגמאות מתוך מדריכים ומסמכי פיתוח ולא מתוך מאגרי קוד פתוח כלליים.
החלוקה הפנימית מוגדרת מראש וכוללת מאה אלף דוגמאות באימון, אלפיים רשומות באימות ואלפיים נוספות בבדיקה. המבנה בכל החלקים זהה ומכיל שלושה שדות בלבד, מזהה מספרי, תיאור המשימה והקוד עצמו. התיעוד המקורי אינו מפרט את אופן הסינון המדויק או הקריטריונים להכללת דוגמה.
מתאים ל
- אימון מודל קוד לג'אווה
לימוד מעבר ישיר מהוראות באנגלית למימוש בפועל בשפת ג'אווה.
- בנצ'מרק של תרגום לקוד
מדידת ביצועים מדויקת מול ספליט בדיקה קבוע של אלפיים דוגמאות.
- השלמת פונקציות אוטומטית
בניית רכיב שמציע שלד קוד על בסיס הערות ותיאורים קצרים של מפתחים.
איפה זה נופל
הכרטיס משאיר המון חורים שחורים. אין בו שום מידע על הטיות, אופן הניקוי, או מידע רגיש שעלול היה להיכנס בסריקה. שפת התכנות היחידה כאן היא ג'אווה, והטקסט כולו באנגלית בלבד. עברית לא קיימת פה. מעבר לזה, המקור הוא תיעוד של מיקרוסופט, מה שאומר שהקוד מייצג סגנון כתיבה מאוד מסוים של ספריות מסוימות ולא בהכרח קוד ג'אווה מגוון מהעולם האמיתי. המאגר פורסם ב־2022 ומבוסס על מאמר מ־2018, כך שחלק משיטות הכתיבה שם כבר מיושנות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הוא c-uda, שנועד לאפשר שימוש חישובי ואימון מודלים גם לצרכים מסחריים. המשקולות של המודל שאימנתם שייכות לכם. עם זאת, אסור למכור או להפיץ מחדש את הדאטהסט הגולמי עצמו כפי שהוא.
האם יש במאגר תמיכה בעברית?
לא. שפת המקור היחידה היא אנגלית, ושפת היעד היא ג'אווה בלבד. אם המטרה היא לקבל הנחיות בעברית, תצטרכו לתרגם את שדה הטקסט או לבצע התאמה עם נתונים נוספים.
איך הנתונים נאספו?
הדוגמאות נסרקו וסוננו מתוך מסמכי התיעוד הטכני של מיקרוסופט בגיטהאב. מעבר להצהרה הזו, כותבי הכרטיס לא פירטו כיצד בדיוק בוצע הסינון או אם נבדקה איכות הקוד באופן ידני.
כמה שוקל הדאטהסט ומה העומס בטעינה שלו?
מדובר במאה וארבעה אלף רשומות טקסט קצרות המחולקות לשלושה קובצי פארקט. המשקל הכולל קטן מאוד ואינו דורש משאבי זיכרון מיוחדים, כך שאפשר לטעון אותו במלואו תוך שניות ספורות.
איך טוענים
המאגר מחולק לקבצי פארקט סטנדרטיים לפי החלוקה לאימון, אימות ובדיקה, ולא דורש בקשת גישה או אישור מיוחד כדי להוריד אותו. השדות שמעניינים אתכם הם פשוט nl עבור הטקסט באנגלית ו־code עבור המימוש בג'אווה, יחד עם שדה id שמשמש כמפתח. מאחר שמדובר בסך הכל בכמאה וארבעה אלף רשומות טקסטואליות, נפח האחסון והזיכרון הנדרשים לעיבוד המידע נמוכים מאוד, וטעינת הקבצים מתבצעת במהירות ישירות לסביבת העבודה שלכם בלי צורך בחומרה כבדה.
from datasets import load_dataset
ds = load_dataset("google/code_x_glue_tc_text_to_code")הרישיון
המאגר מופץ תחת רישיון c-uda, הסכם שימוש חישובי בנתונים. הרישיון הזה מתיר שימוש לצורכי אימון, ניתוח ומחקר, כולל שימוש מסחרי במודלים שנוצרו על בסיס המידע, כל עוד עומדים בתנאי הקרדיט. הנתונים עצמם אינם מועברים לבעלותכם, אך תוצרי החישוב כמו משקולות של מודל מאומן בדרך כלל אינם כפופים להגבלות שיתוף מחדש.