COIG-Kun
קוד פתוחm-a-pרישיון לא דווח2023-12-04
מאגר הוראות ותשובות בסינית שנוצר בתהליך יישור עצמי כדי לחסוך עבודה ידנית. הוא מתאים למי שמאמן מודלים ומחפש נתונים מסוננים ומלוטשים על בסיס מודל Yi.
- 448הורדות בחודש
- 30לייקים
מה זה
הנתונים מורכבים מזוגות של הוראה ופלט שנבנו בשיטת תרגום לאחור בהשראת מטא. החוקרים לקחו נתוני בסיס, סיננו אותם לפי אורך של עד 512 טוקנים ומדד פרפלקסיטי, והשתמשו במודל Yi Base כדי להפיק הוראות. לאחר מכן נתנו ציון להוראות בלבד כדי לסנן רעשים, וליטשו את התשובות בעזרת מודל צ'אט ייעודי כדי שיתאימו למבנה של שיחה.
המאגר מחולק לשלושה קבצים לפי מקורות הנתונים המקוריים. הקובץ wanjuan מכיל 328,294 רשומות, הקובץ wudao כולל 139,852 רשומות, ובקובץ skypile יש 71,560 דוגמאות. בסך הכל יש כאן למעלה מחצי מיליון זוגות אימון מובנים.
מתאים ל
- אימון הוראות בסינית
כיוונון עדין של מודלי שפה למענה מדויק על שאלות והנחיות בשפה הסינית.
- מחקר על יישור עצמי
בדיקת איכות של שיטות תרגום הוראות לאחור בהשוואה לשיטות אימון מסורתיות.
- בניית מודלי שיחה
הזנת דוגמאות שיחה קצרות שעברו ליטוש סגנוני למודלי צ'אט ייעודיים.
איפה זה נופל
המאגר כולו בסינית בלבד, בלי שום כיסוי לעברית או לאנגלית. בנוסף, כל הנתונים הוגבלו מראש לאורך של עד 512 טוקנים, כך שאי אפשר לבנות עליהם משימות של הקשר ארוך. מאחר שההוראות והתשובות עברו שכתוב וסינון על ידי מודלים מלאכותיים, הן עלולות לכלול הזיות של מודל המקור Yi ולא בהכרח עובדות מבוססות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא מומלץ בכלל. המפתח לא הגדיר רישיון בקבצים או בעמוד הדאטהסט. במצב כזה אין הרשאה חוקית להפיץ מודל שאומן עליו, בטח לא בסביבה מסחרית.
האם יש כאן תוכן בעברית?
אין כאן עברית כלל. המאגר מיועד אך ורק למשימות בשפה הסינית. אם אתם מחפשים נתונים רב לשוניים, תצטרכו למצוא מקור אחר.
במה הוא שונה ממאגרי הוראות סינתטיים אחרים?
החוקרים שינו את השיטה המקורית של מטא ונתנו ציון רק לשאלות כדי לסנן רעש. בנוסף הם ביצעו שלב של ליטוש התשובות בעזרת מודל שפה, ולא השאירו את הטקסט הגולמי כפלט.
מה גודל הנתונים ואיך הם מחולקים?
המאגר כולל שלושה קובצי JSONL המכילים יחד כ־540 אלף רשומות. החלוקה היא לפי מקורות האיסוף wudao, wanjuan ו־skypile, כולם נשמרים בטקסט נקי.
איך טוענים
טוענים את הקבצים ישירות מספריות פייתון או דרך קריאת קובצי ה־JSONL שיושבים במאגר. אין צורך באישור גישה מיוחד, המאגר פתוח להורדה ישירה. המבנה בכל שורה פשוט מאוד ומכיל שני שדות טקסט בלבד, instruction ו־output, כך שאין צורך בעיבוד מקדים מורכב לפני הזנה לאימון.
from datasets import load_dataset
ds = load_dataset("m-a-p/COIG-Kun")הרישיון
היוצרים לא ציינו רישיון בכרטיס המאגר. מבחינה מעשית זה אומר שאין לכם היתר שימוש מוגדר, בטח שלא למוצרים מסחריים. שימוש במאגר כזה לאימון מודל חושף אתכם לסיכונים משפטיים של זכויות יוצרים, אלא אם קיבלתם אישור מפורש מיוצרי הפרויקט בגיטהאב.