code

מה זה

כל הרשומות כאן הן תוצר סינתטי מלא של שיחות בין שני סוכני gpt-3.5-turbo. סוכן אחד מתפקד כמתכנת עם התמחות בשפה מסוימת, והשני מייצג משתמש עם בעיה מתחום ידע ספציפי. המאגר מכסה שילובים של 20 שפות תכנות ו־50 תחומי ידע שונים, כאשר לכל שילוב כזה הוגדרו 50 משימות.

התוכן מחולק לשני פורמטים עיקריים שיושבים בקבצים נפרדים. יש קובץ JSON שמסדר את הדברים במבנה הוראות סטנדרטי של הנחיה, קלט ותשובה, ויש ארכיונים דחוסים שמכילים את השיחות המלאות הודעה אחרי הודעה, כולל שמות התפקידים וסיבת סיום השיחה.

מתאים ל

• מחקר אינטראקציה בין סוכנים

  ניתוח האופן שבו שני סוכנים מנהלים דיאלוג לפתרון משימה טכנית והבנת נקודות העצירה בשיחה.

• אימון מודלים להוראות קוד

  שימוש בקובץ ההוראות לצורך כוונון של מודלי שפה פתוחים על משימות תכנות מגוונות למטרות מחקר.

• בדיקת איכות קוד סינתטי

  הערכת שיעור השגיאות וההזיות של מודלי שפה בייצור קוד על פני עשרים שפות תכנות שונות.

איפה זה נופל

החומר כולו נוצר על ידי מודל שפה ולא נבדק מול קוד אמיתי שנכתב על ידי בני אדם. היוצרים מצהירים במפורש שהנתונים עלולים להכיל שגיאות, כך שאי אפשר להסתמך עליהם לייצור ישיר בלי בדיקה מקיפה של תקינות הקוד. בנוסף, כל הטקסט באנגלית בלבד, ואין כאן נתונים בעברית. הנתונים פורסמו באפריל 2023 ומבוססים על גרסאות מוקדמות של gpt-3.5-turbo.

איך טוענים

אין צורך לבקש אישור גישה כדי להוריד את הקבצים. הטעינה נעשית ישירות דרך הספרייה של huggingface_hub באמצעות הפונקציה hf_hub_download שמורידה את הארכיונים code_chat.tar.gz, code_chat.zip או את הקובץ code_instructions.json. אם המטרה היא אימון הוראות רגיל, עובדים ישירות עם קובץ ההוראות ומתמקדים בשדות instruction, input ו־output. לניתוח הדינמיקה בין הסוכנים צריך לפתוח את קובצי השיחה ולעבור על רצף ה־messages.

from datasets import load_dataset

ds = load_dataset("camel-ai/code")

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות פשוטה מאוד: השימוש מותר אך ורק למחקר או לצרכים לא מסחריים, וחובה לתת ייחוס ליוצרים. אסור להשתמש בנתונים האלה כדי לאמן מודלים שמיועדים למוצר מסחרי, ואי אפשר למכור שירותים שמתבססים על המאגר.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗