Code-290k-ShareGPT

מה זה

המאגר כולל סביב 290,000 סטים של שיחות במבנה המוכר של Vicuna או ShareGPT. כל סט מכיל שתי שיחות, כלומר אינטראקציה פשוטה של בקשה ותשובה. הנתונים מתרכזים בקוד שמלווה בהסברים מפורטים, ומכסים מגוון שפות תכנות כמו פייתון, ג'אווה, ג'אווהסקריפט, גו, C++, ראסט, רובי, SQL, מאי-אס-קיו-אל, אר, ג'וליה והאסקל.

היוצר לא אסף את הכל מאפס אלא בנה את המאגר הזה על גבי שני מאגרים קודמים שלו, Python-Code-23k-ShareGPT ו־Code-74k-ShareGPT, והרחיב אותם להיקף הנוכחי. אין פירוט לגבי אופן הסינון, מקורות הטקסט המקוריים או הדרך שבה נוצרו הקוד וההסברים שנוספו מעבר למאגרי הבסיס.

מתאים ל

• כוונון שיחה טכנית

  אימון מודלי שיחה במבנה פקודה ותגובה על משימות פיתוח והסבר קוד.

• הרחבת מודל לשפות נוספות

  חשיפת מודל קיים לתחביר של שפות כמו ראסט, ג'וליה והאסקל לצד פייתון.

• יצירת הסברים לקוד

  שיפור היכולת של מודלים לייצר הסבר מילוני ומפורט לצד מקטעי קוד שנכתבו.

איפה זה נופל

הכרטיס קצר בצורה קיצונית ולא מפרט איך סונן המידע, האם הקוד נבדק והורץ, או מאיפה השיחות נלקחו. השפה המדווחת היא אנגלית בלבד, כך שאין כאן שום תמיכה בעברית. מאחר שמדובר בשיחות קוד קצרות של שתי פניות בכל סט, הוא לא מתאים למי שרוצה לאמן מודל על דיאלוגים מורכבים ומתמשכים. לפני שאתם זורקים את זה לתוך אימון של מודל פרודקשן, תצטרכו לדגום בעצמכם את איכות הקוד וההסברים כדי לוודא שאין שם שגיאות תחביר או הזיות.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה ajibawa-2023/Code-290k-ShareGPT. הגישה פתוחה לחלוטין ואין צורך בהרשאות מיוחדות. המאגר מורכב משלושה קבצים, והקוד עצמו יושב בקובץ יחיד בפורמט JSON בשם Code-290k-ShareGPT.json. השדות מסודרים בפורמט השיחה הסטנדרטי של ShareGPT, מה שהופך אותו לקל להזנה ישירה לסקריפטים של כוונון עדין.

from datasets import load_dataset

ds = load_dataset("ajibawa-2023/Code-290k-ShareGPT")

הרישיון

המאגר מפורסם תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי. הוא לא מחייב אתכם לשחרר את המודלים שתאמנו תחת אותו הרישיון בדיוק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗