kollm-converations
קוד פתוחdavidkim205apache-2.02024-03-18
אוסף שיחות והוראות בקוריאנית לאימון SFT של מודלי שפה. הוא מאחד עשרות מקורות קיימים מגיטהאב והאגינג פייס למבנה שיחה אחיד שנועד להזנת מודלים.
- 67הורדות בחודש
- 30לייקים
מה זה
המאגר מאגד 41 מקורות שונים בקוריאנית וממיר אותם לפורמט שיחה מובנה שמתאים ישירות לשלב הדיוק. תמצאו כאן שילוב רחב של משימות, כולל תרגומים של סטים מוכרים כמו ShareGPT, UltraFeedback ו־OpenOrca, לצד מאגרים מקומיים כמו KoAlpaca, שיחות ייעוץ פסיכולוגי, שאלות מבחני פסיכומטרי קוריאניים ונתוני זכויות אדם. חלק ניכר מהתשובות נוצר מחדש בעזרת ChatGPT כדי ליצור אינטראקציות רב־שלביות, בעיקר על בסיס נתוני הבנת הנקרא דוגמת KorQuAD ו־KLUE MRC.
היוצר מציין במפורש עשרות מאגרים נוספים שלא נכללים בקבצים עצמם, בעיקר סטים ממשלתיים של AIHub ושל מכון המחקר ETRI, בגלל מגבלות רישיון מחמירות. מי שמעוניין בהם צריך להירשם ולהוריד אותם עצמאית מהקישורים המצורפים בכרטיס. הנתונים שבתוך המאגר מחולקים לשלושה קבצי Parquet ומיועדים ישירות למשימות ייצור טקסט.
מתאים ל
- אימון הוראות בקוריאנית
דיוק מודלי שפה כלליים למענה להוראות ושיחות בשפה הקוריאנית.
- פיתוח עוזרי שיחה
אימון צ'אטבוטים על דיאלוגים מרובי שלבים ותרגומי ShareGPT.
- תרגום אנגלית לקוריאנית
שיפור ביצועי תרגום והבנה דו־לשונית בעזרת תת־הקבוצות המקבילות.
איפה זה נופל
הבעיה המרכזית היא תלות כבדה במידע סינתטי. חלק עצום מהתשובות יוצר באמצעות ChatGPT או תורגם מאנגלית דרך DeepL, מה שעלול להכניס ניסוחים מאולצים והזיות מובנות. בנוסף, המאגר הוא בקוריאנית בלבד וללא עברית כלל. קיים גם סיכון של זיהום הערכות, כי מבחני ביצועים מקומיים מובילים כמו KMMLU ו־KoBEST נארזו ישירות לתוך נתוני האימון.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא. המאגר מוגדר ומכיל טקסטים בשפה הקוריאנית בלבד, לצד מקורות תרגום מקבילים מאנגלית לקוריאנית.
האם אפשר להשתמש בו למוצר מסחרי?
הרישיון המוצהר בדף הוא Apache 2.0 שמתיר שימוש מסחרי, אך הנתונים מורכבים מתשובות סינתטיות של מודלים ומקורות שונים. מומלץ לבדוק את תנאי המקורות הספציפיים שמופיעים בטבלה לפני שמשלבים במוצר.
האם כל המאגרים המפורטים זמינים להורדה ישירה?
לא כולם. המאגר מכיל רק את המקורות שפתוחים ברישיון, בעוד נתונים מ־AIHub ו־ETRI דורשים הורדה נפרדת ואישור מהאתרים הרשמיים שלהם.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של Hugging Face בלי צורך באישור גישה מיוחד, המאגר ציבורי לחלוטין. בפנים תמצאו שלושה קבצי Parquet שמחזיקים את כל סט האימון בשם train-00000 עד train-00002. המבנה מבוסס על שדות שיחה שמוכנים להזנה לתהליכי אימון, אך שימו לב שהכרטיס לא מפרט את שמות העמודות המדויקים, ולכן כדאי להדפיס שורה ראשונה כדי לוודא שמות מפתחות לפני שמתחילים לרוץ. אם בכוונתכם לאמן מודל מלא כמו the nox שהתבסס עליו במקור, תצטרכו להשלים ידנית את הנתונים החסרים של AIHub ו־ETRI לפי הקישורים החיצוניים.
from datasets import load_dataset
ds = load_dataset("davidkim205/kollm-converations")הרישיון
המאגר מדווח תחת רישיון Apache 2.0, שמתיר שימוש מסחרי ושינויים בקוד ובמשקולות. עם זאת, בפועל מדובר באיחוד של מעל 40 מקורות שחלקם הופקו מ־ChatGPT או מתורגמים ממאגרים עם רישיונות מקוריים שונים, ולכן כדאי לבדוק את מקורות המשנה לפני הפצה מסחרית.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים