Korean-OpenThoughts-114k-Normalized
קוד פתוחllami-teamרישיון לא דווח2025-02-10
תרגום קוריאני ממוכן של מאגר חשיבה מורכב, שמיועד בעיקר לזיקוק יכולות היסק למודלים קטנים. החומר מתאים למי שבונה מודל שיחה ומחפש נתיבי הנמקה מפורטים בקוריאנית.
- 75הורדות בחודש
- 28לייקים
מה זה
המאגר מבוסס על OpenThoughts-114k-Normalized שיצר lemon-mint, ותרגמו אותו לקוריאנית באמצעות gpt-4o-mini של OpenAI. המטרה המוצהרת של היוצרים היא לספק נתוני פתיחה קרים למודלי היסק או לשמש בסיס לתהליכי distillation בקוריאנית. אין כאן נתונים שנכתבו במקור על ידי דוברי השפה או התאמה תרבותית ייעודית, אלא תרגום ישיר של שלבי מחשבה ותשובות.
המבנה של כל רשומה כולל שלושה שדות טקסט עיקריים. השדה question מכיל את השאלה, השדה reasoning כולל את שרשרת ההיסק המפורטת שמובילה לפתרון, והשדה response מחזיק את התשובה הסופית. המאגר לא מחולק לחלקי אימון, מבחן או תיקוף, וכל הדוגמאות מרוכזות יחד בקובץ יחיד שמיועד למשימות יצירת טקסט.
מתאים ל
- זיקוק מודלי היסק
אימון מודלים קטנים בקוריאנית על שרשראות מחשבה מפורטות כדי לשפר ביצועים לוגיים.
- אימון התחלתי להיגיון
שימוש בנתונים כבסיס ראשוני ליצירת יכולות הנמקה במודל שפה לפני כוונון עדין.
- יצירת טקסט מונחה
הפקת תשובות שמציגות את שלבי הפתרון המלאים לפני המענה הסופי בקוריאנית.
איפה זה נופל
הבעיה המרכזית היא שמדובר בתרגום מכונה של gpt-4o-mini. כשמודל מתרגם שרשראות חשיבה ארוכות, טעויות קטנות בתרגום עלולות לשבור את ההיגיון הלוגי של כל ההסבר. המאגר מוגבל לשפה הקוריאנית בלבד ואין בו שום ייצוג לעברית או לאנגלית. היוצרים לא מציינים אם עשו סינון ידני, בקרת איכות על התרגומים או ניקוי הזיות, ולכן לא מומלץ להכניס את הנתונים למודל פרודקשן בלי דגימה ובדיקה של איכות ההיסק.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
לא מומלץ להסתכן בזה. היוצרים לא הגדירו רישיון בדף הפרויקט, מה שאומר שאין הרשאת שימוש מפורשת. בנוסף, הנתונים הופקו באמצעות כלי של OpenAI שמגביל אימון מודלים מתחרים.
האם יש כאן תמיכה בעברית?
אין במאגר עברית בכלל. כל הנתונים תורגמו לקוריאנית בלבד מתוך המקור באנגלית. אם אתם מחפשים נתונים למודל בעברית, המאגר הזה לא יתרום לכם ללא תרגום נוסף.
איך נאספו הנתונים במקור?
המאגר מבוסס על OpenThoughts-114k-Normalized שיצר lemon-mint. הצוות של llami לקח את הנתונים הקיימים ותרגם אותם לקוריאנית בעזרת מודל gpt-4o-mini. אין פה איסוף ישיר של טקסטים מהרשת.
מה מייחד את המאגר הזה לעומת חלופות?
הייחוד הוא המיקוד בתהליכי חשיבה ושלבי ביניים בקוריאנית. במקום לקבל רק שאלות ותשובות קצרות, יש כאן פירוט של שלבי ההיסק. עם זאת, החיסרון הוא שמדובר בתרגום מכונה ולא בטקסט מקורי.
איך טוענים
הנתונים מגיעים בקובץ train.csv בתוך המאגר, יחד עם קובץ README.md וסך הכל שלושה קבצים. לא צריך לבקש אישור גישה מיוחד, אפשר למשוך אותו ישירות דרך ספריית datasets או להוריד את קובץ ה־CSV. בעבודה איתו צריך לטעון את שלושת השדות, question, reasoning ו־response, ולהחליט איך משרשרים את תהליך ההיסק לפני התשובה הסופית בזמן האימון.
from datasets import load_dataset
ds = load_dataset("llami-team/Korean-OpenThoughts-114k-Normalized")הרישיון
היוצרים לא הגדירו רישיון בדף המאגר. מבחינה משפטית, היעדר רישיון אומר שאין היתר ברור להשתמש בנתונים, לא למחקר ובטח לא לפיתוח מוצר מסחרי. בנוסף, המידע תורגם בעזרת שירותי OpenAI, שמגבילים שימוש בפלטים שלהם לצורך אימון מודלים שמתחרים בהם.