rosetta-code
קוד פתוחchristophergfdl2022-06-28
פתרונות לאותן משימות תכנות במאות שפות שונות מתוך אתר רוזטה קוד. המאגר מתאים למי שחוקר תרגום קוד או השוואה ישירה בין תחביר של שפות מגוונות.
- 1,098הורדות בחודש
- 40לייקים
מה זה
המאגר מרכז 79,013 רשומות שמקורן באתר Rosetta Code, אתר שנועד להציג פתרונות לאותה בעיה בכמה שיותר שפות תכנות. המידע נאסף מעמודי האתר ומציג משימות מוגדרות לצד המימושים שלהן, כשהאתר עצמו מכיל מעל 1,200 משימות ומודע למאות שפות תכנות שונות.
בפנים יש חלוקה אחת בלבד של אימון, בלי פיצול מובנה לבדיקה או ולידציה. כל רשומה כוללת את שם המשימה, התיאור המילולי שלה, הקישורים הרלוונטיים, שם שפת התכנות וקטע הקוד עצמו. הכרטיס לא מפרט תהליכי סינון, ניקוי או נרמול שנעשו על הטקסט לפני העלאתו.
מתאים ל
- תרגום קוד בין שפות
אימון מערכות שממירות פתרונות משפה אחת לאחרת על בסיס אותה משימה.
- השוואת תחביר תכנותי
ניתוח בלשני וחישובי של הבדלי מימוש בין מאות שפות שונות.
- יצירת קוד לפי תיאור
הערכת היכולת לייצר פתרון תקין מתוך תיאור המשימה המילולי.
איפה זה נופל
הכרטיס משאיר כמעט את כל הסעיפים הטכניים ריקים תחת ההערה שחסר מידע. אין תיעוד של בדיקות איכות, סינון קוד זדוני או הסרת פרטים אישיים ורגישים. בנוסף, לא לכל משימה יש פתרון בכל שפה, ויש פערים גדולים בכיסוי בין שפות פופולריות לנידחות. המידע הועלה ביוני 2022 ולא מציג עדכונים שנוספו לאתר מאז, מה שדורש בדיקה ידנית של איכות הקוד לפני שמבססים עליו מודל.
שאלות
נפוצות
האם המאגר כולל עברית?
המאגר כולל קוד ומשימות באנגלית בלבד. עברית לא קיימת שם, לא בתיאורי המשימות ולא בפתרונות.
האם מותר להשתמש במידע לפיתוח מוצר מסחרי?
הרישיון המדווח הוא GFDL שמטיל מגבלות של שיתוף זהה וייחוס. מומלץ לבדוק את ההשלכות המשפטיות לגבי מודלים מאומנים לפני שימוש מסחרי.
איך המידע חולק ומאורגן?
הנתונים מגיעים כקובץ parquet אחד עם פיצול train בלבד. כל שורה מכילה משימה, שם שפה, תיאור וקוד מקור.
איך טוענים
המאגר זמין לטעינה ישירה דרך ספריית datasets בלי צורך באישור גישה מיוחד, כשהנתונים יושבים בקובץ parquet יחיד לצד קובצי מידע טכניים. שורות הנתונים מכילות שדות מפתח פשוטים: task_name, task_description, language_name והקוד עצמו בעמודת code. מאחר שיש רק פיצול אחד מסוג train, תצטרכו לחלק את הדגימות בעצמכם אם אתם מתכננים להשתמש בו להערכה. המשקל הכולל אינו מפורט בכרטיס, אך מדובר בקובץ דחוס אחד שמכיל עשרות אלפי רשומות טקסט בלבד.
from datasets import load_dataset
ds = load_dataset("christopher/rosetta-code")הרישיון
הרישיון המדווח הוא GFDL, רישיון התיעוד החופשי של גנו. מדובר ברישיון שמיועד במקור לספרי הדרכה ומסמכים, והוא כולל דרישות שיתוף זהה ומחייב ייחוס ליוצרים. שימוש מסחרי מורכב כאן מבחינה משפטית, במיוחד אם רוצים להפיץ מודל או תוצרים שנגזרו ממנו בלי לחשוף אותם תחת אותם תנאים, ולכן כדאי להתייעץ לפני שמכניסים אותו לסביבה עסקית.