OpenOrca-gugugo-ko
קוד פתוחsquarelikemit2023-11-04
תרגום חלקי לקוריאנית של מאגר OpenOrca שבוצע באמצעות מודל שפה ייעודי. הפרויקט מיועד למי שמאמן מודלים בקוריאנית וזקוק לדאטה של שאלות, תשובות והסברים מפורטים.
- 36הורדות בחודש
- 35לייקים
מה זה
המאגר מבוסס על OpenOrca, שמכיל משימות מאוסף FLAN אשר הועברו כפרומפטים לניסוח של GPT-3.5 ושל GPT-4 במטרה לחלץ שלבי חשיבה מפורטים. היוצר squarelike לקח את הנתונים הללו ותרגם אותם ישירות לקוריאנית בעזרת מודל Gugugo-koen-7B-V1.1.
המבנה המקורי כולל ארבעה שדות מרכזיים בכל רשומה: מזהה ייחודי id המציין את תת המאגר מתוך FLAN, השדה system_prompt שנשלח למודל, השאלה המקורית question, ותשובת המודל בשדה response. המאגר המקורי אינו מחולק לחלוקות אימון ובדיקה אלא מוגדר unsplit.
התרגום עצמו חלקי מאוד. מתוך כמיליון רשומות שנוצרו על ידי GPT-4 תורגמו כ־64万 רשומות בלבד. מתוך כ־350万 רשומות שמקורן ב־GPT-3.5 תורגמו כ־159万 רשומות. המאגר הנוכחי מחזיק קובצי json מפוצלים ומכיל ארבעה קבצים בסך הכל.
מתאים ל
- אימון מודלי שיחה בקוריאנית
שיפור היכולת של מודלי שפה לענות לקוראים בקוריאנית תוך שמירה על הסברים מפורטים.
- הערכת תרגום מכונה
שימוש ברשומות כבסיס לבדיקת ביצועי תרגום של מודל Gugugo מול טקסט המקור באנגלית.
- סיווג טקסטים ומענה לשאלות
התאמת מודל קוריאני למשימות חילוץ מידע, סיווג ופתרון שאלות מורכבות.
איפה זה נופל
זה תרגום מכונה של מודל בקוטר שבעה מיליארד פרמטרים, ולא עבודה של מתרגמים אנושיים. מודלים בגודל כזה מייצרים שגיאות תחביר, אי הבנות בהקשרים מורכבים והזיות, מה שיכול להכניס רעש גדול לנתוני ההסבר שלכם. מעבר לכך, התרגום מעולם לא הושלם ונותר פרויקט חלקי בלי בדיקות איכות מדווחות. אין במאגר עברית בכלל, והוא מיועד רק למי שעובד על משימות בקוריאנית. כל מי שמתכנן להכניס את הדאטה הזה למודל בייצור חייב לבצע דגימה ובקרה ידנית של הפלטים.
שאלות
נפוצות
האם המאגר כולל עברית?
לא, המאגר מתמקד כולו בקוריאנית. מדובר בתרגום ישיר של מאגר OpenOrca האנגלי לקוריאנית בלבד.
האם מותר להשתמש בדאטהסט הזה לפיתוח מסחרי?
הרישיון המדווח הוא MIT, שמאפשר שימוש מסחרי מלא כל עוד מצרפים את הרישיון והקרדיט. עם זאת, הנתונים הם תרגום של פלטי GPT, ויש לבדוק את תנאי המקור של יוצרי המודלים.
האם כל מאגר OpenOrca תורגם במלואו?
לא, הפרויקט נעצר באמצע. מתוך כמיליון רשומות GPT-4 תורגמו כ־64万, ומתוך כ־350万 רשומות GPT-3.5 תורגמו כ־159万 בלבד.
איך תרגמו את הנתונים?
התרגום בוצע באמצעות מודל Gugugo-koen-7B-V1.1 ישירות מהמאגר של OpenOrca. לא נעשתה עריכה אנושית ידועה על הטקסטים.
איך טוענים
אתם טוענים את הנתונים דרך ספריית datasets של Hugging Face או מושכים ישירות את קובצי ה־json מהמאגר. אין צורך בהרשאת גישה מיוחדת, המאגר ציבורי לחלוטין. קובצי הדוגמה במאגר כוללים שמות כמו ko-openorca_1M-GPT4-Augmented_split_0_to_2000_v6.json ו־ko-openorca_3_5M-GPT3.5-Augmented_split_0_to_2000.json, ולכן צריך לבדוק את מבנה הקבצים שנטענים לפני שמריצים סקריפט אימון מלא. בגלל נפח הנתונים המקורי, כדאי לשקול שימוש בטעינה רציפה במקום להוריד הכל בבת אחת.
from datasets import load_dataset
ds = load_dataset("squarelike/OpenOrca-gugugo-ko")הרישיון
הרישיון המדווח במאגר הוא MIT, שמתיר שימוש מסחרי, שינוי והפצה תחת מתן קרדיט והצגת הרישיון המקורי. המפתח הוסיף בקשה מפורשת לציין את המקור, ומאחר שמדובר בתוצרי תרגום של מודלי GPT, כדאי לקחת בחשבון את תנאי השימוש של יוצרי המקורות בעת הפצת מודל מאומן.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש