open-korean-instructions
קוד פתוחheegyumit2023-04-22
זהו אוסף הוראות ושיחות בקוריאנית לאימון מודלי צ'אט, שמחבר כמה מקורות מוכרים לקובצי טקסט אחידים. הוא מיועד למי שבונה מודל שיחה שצריך להבין ולענות בקוריאנית.
- 282הורדות בחודש
- 25לייקים
מה זה
המאגר מאגד ארבעה מקורות מידע שונים שעברו התאמה למבנה שיחה אחיד בקוריאנית. החלק המרכזי מבוסס על תרגום DeepL של ShareGPT, עם 620 אלף רשומות של פנייה ותשובה בודדת ועוד 84 אלף שיחות מרובות תורות. לצידו נמצאות שתי גרסאות של KoAlpaca, אחת עם 52 אלף רשומות והשנייה עם 21 אלף, שתיהן במבנה של פנייה בודדת.
בנוסף שולבו נתונים ממאגר OIG-small-chip2-ko שכולל 210 אלף רשומות קצרות, ועוד 9.6 אלף שיחות מבוססות ידע מתוך Korquad-Chat. כל הטקסטים מיושרים לפי תבנית קבועה שמשתמשת בתגיות מיוחדות לסימון הדוברים, עם ירידות שורה שמפרידות בין מערכת, משתמש ובוט.
מתאים ל
- אימון צ'אטבוט בקוריאנית
אימון מודל שפה גנרטיבי לניהול שיחות שוטפות ותשובה להוראות ישירות בשפה הקוריאנית.
- אימון על שיחות מרובות תורות
שימוש בחלקי ה־ShareGPT וה־Korquad לצורך לימוד המודל לשמור על הקשר לאורך כמה הודעות.
- כוונון מענה על בסיס ידע
הטמעת 9.6 אלף הדוגמאות מ־Korquad-Chat במטרה ללמד את המודל לחלץ תשובות מתוך טקסט נתון.
איפה זה נופל
הבעיה העיקרית כאן היא התבססות כבדה על תרגום מכונה, ספציפית DeepL, שתופס את רוב הנפח. תרגומים כאלה נוטים לגרור שגיאות ניסוח עדינות וסגנון לא טבעי בקוריאנית. חוץ מזה, המאגר פורסם באפריל 2023 ומאז לא עודכן. אין כאן מילה בעברית או באנגלית, ואי אפשר לדעת מהכרטיס אילו סינונים של בטיחות או רעלים נעשו על הטקסטים המקוריים.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. כל הנתונים במאגר הם בקוריאנית בלבד ומיועדים ספציפית למודלים שמכוונים לשפה זו.
האם מותר להשתמש בדאטהסט הזה למטרות מסחריות?
המאגר מוגדר תחת רישיון MIT שמתיר שימוש מסחרי באופן עקרוני. יחד עם זאת, חלקים גדולים מבוססים על ShareGPT ו־Alpaca, כך שצריך לקחת בחשבון את המגבלות של הדאטהסטים שמתוכם המידע נגזר.
איך הנתונים נאספו?
היוצר איחד מספר מאגרים קיימים בקוריאנית, כולל גרסאות מתורגמות של ShareGPT ו־OIG, לצד גרסאות מקומיות של Alpaca ומאגר Korquad. הקוד שמייצר ומאחד את הנתונים זמין במאגר גיטהאב ייעודי שקישור אליו מופיע בדף.
איך מיוצגים הדוברים בשיחה?
הטקסט משתמש בתגיות ייעודיות לזיהוי התפקידים, בעיקר תגיות של מערכת, משתמש ובוט מופרדות בשורות חדשות. בקובץ של Korquad יש לשים לב שהפורמט שונה מעט ומשתמש בסימון אחר עבור המשתמש והבוט.
איך טוענים
טוענים את הנתונים ישירות מקובצי ה־JSON במאגר, כמו sharegpt_deepl_ko.json או koalpaca.json, דרך ספריית datasets הרגילה של Hugging Face. אין צורך באישור גישה או במפתח מיוחד כי המאגר פתוח לחלוטין להורדה. לפני שמתחילים לאמן, שימו לב לטוקנים שמגדירים את הדוברים: רוב המאגר משתמש בתגיות פשוטות של מערכת, משתמש ובוט, אבל בקובץ של Korquad מופיעות תגיות שונות שדורשות טיפול כדי לא לבלבל את הטוקנייזר.
from datasets import load_dataset
ds = load_dataset("heegyu/open-korean-instructions")הרישיון
הרישיון המדווח בעמוד הוא MIT, מה שאומר שמבחינת המפרסם מותר לעשות בנתונים שימוש מסחרי ומחקרי, לשנות אותם ולהפיץ הלאה. נדרש רק לתת קרדיט ולשמור על נוסח הרישיון המקורי. עם זאת, מכיוון שהנתונים כוללים תרגומים של ShareGPT ו־Alpaca, כדאי לבדוק את תנאי השימוש של הכלים שמהם המידע הזה הופק במקור לפני שמשיקים מוצר מסחרי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש