hh-rlhf-49k-ja
קוד פתוחkunishoumit2023-05-18
תרגום אוטומטי ליפנית של חלק ממאגר הדיאלוגים של אנתרופיק. מתאים למי שרוצה לאמן או לבדוק התנהגות מודל ביפנית בלי לבנות סט העדפות מאפס.
- 76הורדות בחודש
- 25לייקים
מה זה
המאגר כולל רשומות שתורגמו במקור מתוך הדאטהסט Anthropic/hh-rlhf, שנבנה במקור לאימוני יישור והעדפות אנושיות באנגלית. התוכן הזה נכלל גם בפרויקט dolly_hhrlhf של מוזאיק. המטרה כאן הייתה להנגיש את השיחות וההנחיות לקהל יפני באמצעות תרגום מכונה, בלי לעבור על כל טקסט ידנית.
בתוך הנתונים מופיעים שדות כמו instruction המכיל את ההוראה המתורגמת, ולצידו instruction_en ששומר את המקור האנגלי. המאגר מגיע כקובץ json יחיד בשם mpt_hhrlhf_49k_ja.json. המפרסם הוסיף מנגנון סימון ייעודי לתקלות תרגום, כך שרשומות שלא צלחו מסומנות מראש ולא נמחקו מהקובץ עצמו.
מתאים ל
- אימון מודלים ביפנית
כוונון של מודלי שפה על שיחות והוראות מתורגמות ליפנית, אחרי שמנקים שורות פסולות.
- הערכת תרגום שיחות
בדיקת התנהגות של מודלי שיחה ותרגום מכונה מול נתוני המקור של אנתרופיק.
- בדיקות יישור ראשוניות
ניסויים על התנהגות בטוחה ועוזרת ביפנית בלי להשקיע באיסוף נתונים חדש מאפס.
איפה זה נופל
זה תרגום אוטומטי, על כל הבעיות הרגילות של תרגום מכונה. אם אתם בונים משהו לשוק היפני, אי אפשר לסמוך על הניואנסים בלי בקרת איכות אנושית. המפרסם מודה בפירוש שחלק מהתרגומים נכשלו לגמרי, וגם אלה שלא סומנו בתור שגיאה עלולים להכיל שפה מוזרה או לא טבעית. בנוסף, אין כאן מילה אחת בעברית, והנתונים משקפים תמונת מצב ממאי 2023 בלי עדכונים מאז.
שאלות
נפוצות
האם מותר להשתמש בזה במוצר מסחרי?
כן, הרישיון הוא MIT ולכן הוא מתיר שימוש מסחרי מלא. צריך רק לשמור על הודעת זכויות היוצרים בקוד או בתיעוד. שימו לב שהאיכות הטכנית של התרגום היא באחריותכם בלבד.
האם יש כאן תוכן בעברית?
לא. המאגר מכיל רק טקסטים ביפנית שתורגמו מאנגלית, לצד שדות המקור באנגלית. אם אתם מחפשים נתונים בעברית, המאגר הזה לא רלוונטי לכם.
איך מסננים תרגומים שנכשלו?
בתוך הנתונים קיים שדה בשם ng_translation שמקבל את הערך אחת כשהתרגום נכשל. במקרים כאלה הטקסט היפני מכיל פשוט עותק של האנגלית. צריך לסנן את השורות האלה החוצה לפני האימון.
מאיפה הנתונים הגיעו במקור?
הבסיס הוא הדאטהסט המוכר של חברת אנתרופיק ללימוד העדפות ושיחות. הנתונים תורגמו אוטומטית ליפנית והמאגר הזה נכלל גם בעבודה של חברת מוזאיק.
איך טוענים
טוענים אותו בספריית datasets הרגילה של פייתון דרך load_dataset עם המזהה המלא. אין פה שום צורך באישור גישה או מפתח מיוחד, המאגר פתוח לגמרי. מה שקריטי לעשות מיד אחרי הטעינה זה להמיר לפנדס ולסנן החוצה שורות שבהן העמודה ng_translation שווה לאחת. אם לא תסננו אותן, תישארו עם טקסטים באנגלית בתוך שדה ההוראה היפני. השדות העיקריים שמעניינים אתכם הם אותם משפטי instruction וטקסט המקור.
from datasets import load_dataset
ds = load_dataset("kunishou/hh-rlhf-49k-ja")הרישיון
הרישיון המדווח הוא רישיון MIT, מה שאומר שאתם חופשיים לעשות עם המידע כמעט הכל. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, ולשלב אותו באימוני מודלים פנימיים או חיצוניים בלי חובת שיתוף של הקוד שלכם. כל מה שנדרש זה לשמור על הודעת הרישיון וזכויות היוצרים המקוריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש