korean_rlhf_dataset
קוד פתוחjojo0217apache-2.02023-08-08
המאגר מרכז מעל מאה אלף דוגמאות אימון בקוריאנית למודלי שפה. הוא מיועד למי שבונה מודל שיחה ומחפש נתונים שעברו ניקוי בסיסי משגיאות תרגום מכונה.
- 80הורדות בחודש
- 31לייקים
מה זה
הנתונים נאספו במסגרת פרויקט אקדמי בתעשייה באוניברסיטת סונגקיונקוואן לצורך אימון SFT של מודלי שפה בקוריאנית. המאגר כולל 107,189 רשומות בסך הכל, ומאחד חמישה מקורות מוכרים: 51,374 דוגמאות מסטנפורד אלפקה, 21,155 מ־KoAlpaca גרסה 1.1, 15,009 מ־dolly המתורגם, 10,000 מ־oig_chip2, ועוד 9,651 מ־OpenAssistant.
יוצר המאגר העביר חלק מהנתונים, כולל אלה שמקורם באלפקה וב־oig_chip2, עיבוד מחדש באמצעות ChatGPT-3.5 turbo 16k כדי לשפר את הטבעיות של השפה. בנוסף, בוצע סינון ידני שהסיר אזכורים עצמיים של OpenAssistant בתשובות, תגי unk שנוצרו בכשלים של מודלים, ותקלות תרגום שבהן נכנסו מחרוזות ברירת מחדל כמו היעדר קלט לשדות המידע.
מתאים ל
- אימון הוראות בקוריאנית
אימון SFT למודלי שפה כדי שילמדו לענות נכון להנחיות ולבקשות שונות בקוריאנית.
- פיתוח מודלי שיחה
בניית צ'אטבוטים שצריכים להחזיר תשובות מנוסחות היטב ומנוקות מאזכורי שירותים אחרים.
- מחקרי העברת שפה
בדיקת התנהגות מודלים על דאטהסטים אמריקאיים פופולריים שעברו התאמה ותרגום לשפה הקוריאנית.
איפה זה נופל
המאגר כולו בקוריאנית בלבד, כך שהוא חסר תועלת לחלוטין למי שמחפש עברית או אנגלית. חלק ניכר מהטקסט נשען על תרגום מכונה של מאגרים אמריקאיים ועיבוד סינתטי עם מודל של OpenAI, מה שעלול לייצר ניסוחים מלאכותיים והטיות תרבותיות זרות לקוריאה. למרות הסינון המדווח של שגיאות תרגום ותגיות שבורות, לא מפורט תהליך בדיקה אנושי מסודר, ולכן תצטרכו לדגום את הפלטים בעצמכם כדי לוודא שאין הזיות שנשארו בפנים.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, אין כאן עברית בכלל. כל הנתונים מיועדים לקוריאנית בלבד, והם נאספו ותורגמו כדי לתמוך במודלים שפונים לשפה הזו.
האם מותר להשתמש בו למוצר מסחרי?
הרישיון הרשמי של המאגר הוא Apache 2.0, שמאפשר שימוש מסחרי חופשי למדי. לצד זאת, חלק מהטקסט עובד באמצעות שירותי OpenAI ומתבסס על פרויקטים כמו אלפקה, שחלק מגרסאותיהם המקוריות הוגבלו למחקר, ולכן יש לבדוק את שרשרת הזכויות לפי השימוש המתוכנן שלכם.
איך הנתונים עברו ניקוי?
היוצר מחק דוגמאות שהכילו שגיאות תרגום כמו תגי unk או שדות קלט שגויים, והסיר תשובות שבהן המודל קרא לעצמו OpenAssistant. בנוסף, חלקים מסוימים עברו עיבוד מחדש דרך ChatGPT כדי להפוך את הניסוח הקוריאני לטבעי יותר.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets של Hugging Face בעזרת המזהה jojo0217/korean_rlhf_dataset. הקובץ המרכזי מגיע בפורמט train.jsonl, ללא צורך באישור גישה או בהרשמה מיוחדת מול היוצר. שדות המידע מותאמים למשימות יצירת טקסט והוראות שיחה, אך מומלץ לבדוק את מבנה הפרומפט והתשובה בקבצים לפני הרצת אימון מלא.
from datasets import load_dataset
ds = load_dataset("jojo0217/korean_rlhf_dataset")הרישיון
המאגר מופץ תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כל עוד שומרים על הודעות זכויות היוצרים ומצרפים עותק של הרישיון. עם זאת, מכיוון שחלק מהנתונים עברו עיבוד דרך מודלים של OpenAI וחלקם מבוססים על דאטהסטים אחרים, כדאי לוודא שאין סתירה מול תנאי השימוש של מקורות המקור לפני שמשלבים את המודל המאומן במוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים