KoMagpie-raw
קוד פתוחchannelcorpרישיון לא דווח2024-09-09
מאגר הוראות ותשובות סינתטי בקוריאנית שנבנה בשיטת Magpie. מתאים למי שרוצה לאמן מודלים לעקוב אחרי הוראות בשפה הקוריאנית על בסיס מודלי קוד פתוח.
- 180הורדות בחודש
- 30לייקים
מה זה
המאגר מכיל 487,171 זוגות של הוראות ותשובות שנוצרו במלואן על ידי מודלי שפה, ללא כתיבה אנושית ישירה. הוא משחזר את מתודולוגיית Magpie כדי לבנות סט נתונים ייעודי לקוריאנית בסבב שיחה בודד.
תהליך הייצור התבסס על המודל EXAONE-3.0-7.8B-Instruct של LG, שייצר את ההוראות הראשוניות באמצעות פרומפט מותאם שהגדיר משתמש קוריאני. לאחר מכן עברו ההוראות סינון כפילויות באמצעות התאמה מדויקת. את התשובות לכל הוראה הפיק המודל Qwen2-72B-Instruct של עליבאבא, כך שכל רשומה מייצגת פנייה של משתמש ותשובה מפורטת שלו.
המבנה של כל דוגמה כולל שלושה שדות בלבד: instruction שמכיל את הבקשה, output עם התשובה המלאה שנוצרה, ו־model שמציין את שם המודל שייצר את התשובה. כל הנתונים מרוכזים בפיצול יחיד של אימון.
מתאים ל
- אימון הוראות בקוריאנית
כוונון עדין של מודלי שפה למענה על שאלות והנחיות בקוריאנית בשיחה של תור בודד.
- הערכת ביצועי מודלים
בדיקת יכולת ההבנה והתגובה של מודלים מול פרומפטים מגוונים בקוריאנית.
- מחקר על דאטה סינתטי
ניתוח איכות הפלט של שיטת Magpie בהשוואה לנתונים שנכתבו בידי אדם.
איפה זה נופל
מדובר בדאטהסט סינתטי לחלוטין שמיועד לקוריאנית בלבד. אין בו שפות אחרות, אין בו עברית, והוא מוגבל לשיחות של תור בודד בלבד ללא הקשר מתמשך. מעבר לסינון כפילויות בסיסי בהתאמה מדויקת, היוצרים לא מדווחים על בדיקות איכות ידניות, סינון רעילות או בדיקת דיוק עובדתי של התשובות שהפיק Qwen2. בנוסף מוגדר המאגר כגרסת תצוגה מקדימה ראשונית שאינה נתמכת רשמית על ידי החברה.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
המאגר עצמו פורסם ללא הגדרת רישיון רשמית, והיוצרים מציינים שאינו מוצר נתמך. כדי להבין אם השימוש מותר, עליכם לבדוק את תנאי הרישיון של המודלים שייצרו את המידע, EXAONE ו־Qwen2. ללא רישיון מפורש לדאטהסט, שימוש מסחרי אינו מומלץ.
האם יש במאגר נתונים בעברית?
לא. המאגר מוגדר לשפה הקוריאנית בלבד, והפרומפטים נבנו במיוחד כדי לחלץ תוכן קוריאני. אין בו טקסטים או הוראות בעברית.
איך נאספו ונוצרו הנתונים?
הנתונים נוצרו בצורה סינתטית לפי שיטת Magpie. מודל EXAONE יצר את ההוראות מקודקוד הפנייה, הוסרו כפילויות מדויקות, ולאחר מכן מודל Qwen2-72B ייצר את התשובות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בפקודה load_dataset לתוך פיצול train. המאגר פתוח לציבור ואינו דורש הרשאת גישה מיוחדת או טופס אישור מראש.
הקבצים שמורים בפורמט Parquet ומחולקים לשמונה קבצי משנה תחת תיקיית data, לצד קובץ README. השדות שמעניינים אתכם בזמן אימון הם instruction ו־output, כאשר שדה model משמש בעיקר למעקב או סינון.
from datasets import load_dataset
ds = load_dataset("channelcorp/KoMagpie-raw")הרישיון
היוצרים לא הצהירו על רישיון אחיד למאגר עצמו. במקום זה הם מפנים לרישיונות הנפרדים של המודלים שיצרו את התוכן: EXAONE של LG ו־Qwen2 של עליבאבא. כל עוד אין רישיון רשמי וברור לקובץ המאוחד, שימוש מסחרי בו חושף אתכם לסיכון משפטי, ויש לבדוק את תנאי השימוש של שני מודלי המקור לפני שמאמנים עליו.