Recursive-Task-Synthesis

מה זה

הנתונים מכילים 37,484 מקרים מאומתים של משימות שורת פקודה. המבנה מחולק לשניים, קובץ פרקט לחיפוש מהיר של המטא-דאטה וחבילות ארכיון להרצה מלאה. בכל שורת משימה בפרקט תמצאו את הוראות המשימה, קובץ הגדרות, פתרון אפשרי בקובץ סקריפט וקובץ דוקר שמגדיר את סביבת העבודה, לצד מזהים למיקום החבילה בארכיונים.

המשימות נוצרו בתהליך של סינתזה רקורסיבית ועברו בדיקת הרצה בפועל. לפי התיעוד, היוצרים שכתבו, הרחיבו, ניקו וייצרו מחדש הוראות, סביבות, סקריפטים לבדיקה ומזהים, כדי שכל משימה תגיע עם חבילה מוכנה להרצה. המאגר לא מפרט את מקורות הבסיס מהם נגזרו המשימות ומפנה למאמר המלא.

מתאים ל

• אימון סוכני שורת פקודה

  למידת חיזוק לסוכנים שמבצעים פקודות בסביבת לינוקס לפי הוראות מוגדרות.

• הערכת מודלים טכניים

  בדיקת יכולת המודל לייצר קובצי סקריפט מדויקים שפותרים בעיות מערכת אמיתיות.

• סינתזת נתוני אימון

  שימוש במבנה המשימות כדי לייצר סביבות בדיקה חדשות למודלי שפה.

איפה זה נופל

המאגר כולו באנגלית ומוגבל לעבודה מול סביבות שורת פקודה. מזהי המשימות אטומים לחלוטין, כך שקשה לדעת מראש מה מקור כל משימה בלי לקרוא את המאמר הנלווה. בנוסף, קובצי הפתרון או הדוקר עלולים להיות חסרים בחלק מהרשומות, מה שמחייב סינון של השדות הריקים לפני שמריצים תהליכי אימון אוטומטיים.

איך טוענים

טוענים את המטא-דאטה ישירות דרך ספריית הדאטהסטים של האגינג פייס עם שם המאגר ופיצול האימון. אין צורך באישור גישה מראש כדי להתחיל לעבוד. אם רוצים להריץ את המשימות בסביבה אמיתית, תצטרכו להוריד את קובצי הארכיון מתיקיית הדאטה ולהשתמש בנתוני הפרקט כדי לקשר כל משימה לקובצי הדוקר והפתרון שלה.

from datasets import load_dataset

ds = load_dataset("Zhongzhi1228/Recursive-Task-Synthesis")

הרישיון

המאגר מופץ תחת רישיון קריאייטיב קומונס 4.0 ייחוס. מותר להשתמש בו למטרות מסחריות ולשנות אותו, כל עוד נותנים קרדיט מתאים ליוצרים. עם זאת, היוצרים מציינים שהרישיון מכסה רק את התרומות וההתאמות שלהם ולא חומרים של צד שלישי שנכללו במקור, ולכן כדאי לבדוק את מקורות המשימות לפני שילוב במוצר מסחרי סגור.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗