LosslessMegaCodeTrainingV3_1.6m_Evol
קוד פתוחrombodawgother2023-08-15
המאגר מערבב הוראות קוד עם שאלות כלליות כדי למנוע ממודלים לאבד יכולות היגיון בזמן אימון על תכנות. הוא מכיל כמיליון וחצי רשומות ומיועד למי שרוצה לאמן מודל בלי לפגוע בהבנה הבסיסית שלו.
- 79הורדות בחודש
- 27לייקים
מה זה
המאגר מורכב מכמיליון וחצי שורות בפורמט הוראות Evol Instruct, והוא מחולק באופן שווה לחלוטין. חצי ממנו מכסה משימות קוד, והחצי השני מכסה הוראות כלליות והיגיון. המטרה המוצהרת של הערבוב הזה היא לפתור בעיה שרואים במודלים כמו Wizardcoder-15b או NewHope, שנוטים לשכוח יכולות הסקה והבנה ברגע שמאמנים אותם רק על קוד תכנותי.
התוכן נאסף משילוב של ארבעה מקורות שונים. צד הקוד מבוסס על המאגרים 2XUNCENSORED_MegaCodeTraining188k ועיבוד מבוסס Evol של commitpackft. צד ההוראות הכלליות נלקח מגרסה של אלפקה בת 840 אלף דוגמאות וממאגר Open-Platypus. לפי הכרטיס, החומר עבר תהליכי הסרת כפילויות, יחד עם טכניקות להסרת צנזורה שהיוצר הפעיל על הטקסטים לפני השילוב.
מתאים ל
- אימון מודלי קוד כלליים
כוונון מודל שיודע לתכנת בלי לאבד יכולת שיחה, הבנת הנחיות והיגיון בסיסי.
- מחקר על שכחה קטסטרופלית
בדיקת השפעת שילוב נתונים כלליים מול נתוני קוד על ביצועי מודלים שונים.
- בניית סוכן פיתוח
אימון מודל שצריך לפרק משימות מורכבות, לעקוב אחר הוראות ארוכות ולכתוב קוד.
איפה זה נופל
היוצר מציין במפורש שהנתונים עברו הסרת צנזורה, מה שאומר שאין כאן מסנני בטיחות סטנדרטיים והטקסט עלול לכלול תוכן בעייתי. בנוסף, כל המקורות המרכיבים את המאגר הם באנגלית בלבד, ואין שום התייחסות לעברית או לשפות אחרות. הנתונים מבוססים על דאטהסטים סינתטיים שעברו הרחבות Evol, כך שהם נושאים את השגיאות וההטיות של מודלי הבסיס שיצרו אותם.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
הרישיון מוגדר בתור other ואינו מפרט תנאים ברורים. בנוסף, הוא כולל נגזרות של אלפקה ונתונים סינתטיים אחרים שעשויים להגביל שימוש מסחרי, ולכן לא בטוח להשתמש בו למוצר מסחרי.
האם יש במאגר תמיכה בעברית?
לא, המאגר מורכב מארבעה מקורות שכולם באנגלית בלבד. אם תאמנו עליו, המודל לא ילמד לתכנת או לענות בעברית אלא אם תוסיפו נתונים משלכם.
למה יש בו נתונים שאינם קוד?
היוצר שילב 50 אחוז נתוני שיחה והיגיון כדי למנוע תופעה של שכחה, שבה מודל שלומד רק קוד מאבד את היכולת להבין הנחיות מורכבות. המטרה היא לשמר יכולות חשיבה כלליות במקביל ללימוד תחום התכנות.
איך הנתונים עובדו לפני הפרסום?
המאגר איחד ארבעה דאטהסטים קיימים של קוד והוראות. לאחר מכן הופעלו עליהם תהליכי הסרת כפילויות ושיטות להסרת צנזורה, כפי שמתואר בכרטיס המאגר.
איך טוענים
הנתונים יושבים בקובץ בודד שנקרא LosslessMegaCodeTrainingV3_1.5m_Error_Correted.json, לצד קובץ התיעוד. אין פה חלוקה מובנית לסט אימון ובדיקה או סקריפט טעינה רשמי, כך שאתם מורידים את ה־JSON ישירות מ־Hugging Face וטוענים אותו בספריית datasets או ישירות בפייתון. הקובץ פתוח לגמרי ואינו דורש אישור גישה מוקדם, אך כדאי לקחת בחשבון שמדובר בקובץ JSON גדול שמחזיק כמיליון וחצי דוגמאות בזיכרון.
from datasets import load_dataset
ds = load_dataset("rombodawg/LosslessMegaCodeTrainingV3_1.6m_Evol")הרישיון
הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי ומוכר. בגלל שהמאגר מערבב מקורות כמו אלפקה ו־Open-Platypus יחד עם נתונים מורחבים, אתם חייבים לבדוק את תנאי המקור של כל רכיב בנפרד. לא מומלץ לבנות על זה מוצר מסחרי בלי להבין את המגבלות של הדאטהסטים המקוריים שמהם הוא הורכב.