evol-codealpaca-v1

מה זה

הבסיס כאן הוא הדאטהסט CodeAlpaca_20K, שעבר תהליך אבולוציה והרחבה לפי המתודולוגיה של WizardCoder. המפתח השתמש בעשר אסטרטגיות שונות כדי לסבך את המשימות וליצור הוראות עמוקות ומאתגרות יותר, כשהמענה והשכתוב בוצעו באמצעות gpt-4-0314 ו־gpt-4-0613. רוב המידע נוצר על ידי גרסת 0314.

התוצאה היא אוסף של בין מאה אלף למיליון רשומות המיועדות למשימות יצירת טקסט וקוד, עם אורך רצף חציוני של 471 טוקנים. בהשוואה למאגרים דומים כמו Evol-Instruct-Code-80k-v1, הנתונים כאן כוללים הוראות ותשובות ארוכות יותר. הסינון הסופי ניקה אזכורים לכך שהתשובות הופקו על ידי מודלים של OpenAI והשאיר רק הוראות באנגלית נקייה.

מתאים ל

• אימון מודלים להשלמת קוד

  כוונון עדין של מודלי בסיס דוגמת LLaMA-2 כדי ללמד אותם להבין הוראות תכנות מורכבות ולכתוב פתרונות ארוכים.

• בדיקת שיטות אבולוציה

  שימוש בנתונים כבסיס להשוואה עבור אלגוריתמים חדשים שמשפרים ומסבכים הוראות באופן אוטומטי.

• בניית מאגרי העדפה

  שילוב השאלות והתשובות בתהליכי יצירת דאטהסטים מדורגים כמו UltraFeedback עבור אימוני יישור והעדפת משתמש.

איפה זה נופל

הנתונים כולם באנגלית בלבד, כך שאין כאן שום תמיכה בעברית או בהוראות רב-לשוניות, למעט גרסה נפרדת בסינית שפורסמה בפרויקט אחר. המידע מבוסס לחלוטין על סינתזה של מודלי GPT-4 מתחילת 2023, ולכן הוא סוחב איתו את ההטיות, ההזיות ומגבלות הידע של הגרסאות האלו מאותה תקופה. בנוסף, קוד שנוצר על ידי מודל בלי בדיקות קומפילציה בפועל עלול לכלול שגיאות תחביר או לוגיקה עדינות, וחשוב להריץ עליו מבחני איכות לפני שמשלבים אותו במודל שמיועד לסביבת עבודה אמיתית.

איך טוענים

המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד. הקובץ המרכזי שמעניין אתכם לאימון הוא train.jsonl שנמצא במאגר, שבו מרוכזות הדוגמאות לעבודה. מכיוון שמדובר בקובץ JSONL סטנדרטי, אפשר לטעון אותו ישירות עם ספריית datasets הרגילה בלי צורך בהמרות מיוחדות. שווה לשים לב שהדאטהסט הזה נכנס כבר לפרויקטים אחרים כמו OpenHermes-2.5, כך שאם אתם משלבים כמה מקורות יחד, תצטרכו להריץ דה-דופליקציה כדי לא לאמן פעמיים על אותן השאלות בדיוק.

from datasets import load_dataset

ds = load_dataset("theblackcat102/evol-codealpaca-v1")

הרישיון

המאגר מפורסם תחת רישיון apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב אתכם לשחרר את המודלים שתאמנו תחת אותו הרישיון. תנאי הרישיון דורשים שמירה על הקרדיט והודעות הרישיון המקוריות, והיוצר מבקש בנוסף לצטט את מאמר הבסיס של WizardCoder אם אתם מאמנים מודלים על בסיס הנתונים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗