oasst1-89k-ja
קוד פתוחkunishouapache-2.02023-05-06
תרגום אוטומטי ליפנית של מאגר השיחות OpenAssistant עם סימון לכשלים בעיבוד. מי שמאמן מודל שיחה ומכוון ליפנית מקבל כאן בסיס רחב שכבר עבר ניקוי חלקי של קוד.
- 225הורדות בחודש
- 26לייקים
מה זה
המאגר מבוסס כולו על OpenAssistant oasst1 המקורי, והוא תורגם ליפנית באופן אוטומטי. המבנה שומר על הנתונים הגולמיים וכולל שדות ייעודיים כמו שפת המקור והטקסט המתורגם. בחלק מהרשומות התרגום נכשל, והיוצר סימן אותן בדגל ייעודי כדי שאפשר יהיה לסנן אותן בקלות ולא להזין זבל לאימון.
באוקטובר 2023 היוצר ביצע סבב תיקונים ידני של כאלפיים שגיאות תרגום שפגעו בקטעי קוד, בעיקר מקרים שבהם פקודות תכנות באנגלית תורגמו בטעות ליפנית ואיבדו תקינות תחבירית. בנובמבר של אותה שנה פורסמה גרסה נפרדת שמסדרת את הרשומות האלו ישירות במבנה שיחה, בעוד שהקובץ כאן שומר על המבנה המקורי הדורש עיבוד.
מתאים ל
- אימון מודלי שיחה ביפנית
התאמת מודל שפה קיים למענה על הוראות ושיחה בשפה היפנית, לאחר סינון הרשומות הפגומות.
- הערכת תרגום מכונה טכני
בדיקת איכות תרגום של קטעי שיחה המשלבים קוד בין אנגלית ליפנית, תוך שימוש ברשומות שתוקנו.
- מחקר על שגיאות תרגום
ניתוח מקרים שבהם תרגום אוטומטי נכשל במשימות שפה מורכבות בעזרת הסימון המובנה במאגר.
איפה זה נופל
זהו תרגום מכונה, על כל הבעיות הרגילות של ניסוחים לא טבעיים וטעויות הבנה. למרות שבוצע תיקון ידני לכאלפיים שגיאות קוד, סביר להניח שנשארו בעיות נוספות שלא אותרו. אין כאן עברית בכלל, המאגר מיועד אך ורק למי שעובד על יפנית. בנוסף, אם לא תסננו באופן יזום את השורות שבהן התרגום נכשל, תקבלו ערבוב של אנגלית בתוך הדאטהסט.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, המאגר פורסם תחת רישיון apache-2.0 שמתיר שימוש מסחרי ללא תשלום. מותר לאמן עליו מודלים מסחריים ולשלב אותם באפליקציות סגורות. החובה היחידה היא מתן קרדיט וצירוף עותק של הרישיון.
האם המאגר כולל עברית?
לא, המאגר כולל אך ורק יפנית וטקסט מקור באנגלית. אין בו שום תוכן בעברית או תמיכה מיוחדת בשפות אחרות. אם אתם מחפשים דאטהסט למודל בעברית, הכלי הזה לא יתאים לכם.
איך נאספו הנתונים במקור?
הנתונים נלקחו ישירות ממאגר OpenAssistant המקורי, שנאסף בעזרת מתנדבים אנושיים שיצרו שיחות ודירגו תשובות. היוצר kunishou לקח את הנתונים הגולמיים ותרגם אותם ליפנית בכלים אוטומטיים. לאחר מכן נעשה תיקון ידני ממוקד בקטעי קוד פגומים.
מה זה השדה ng_translation ואיך מתייחסים אליו?
השדה הזה מסמן האם תרגום המכונה נכשל בעיבוד של אותה שורה. כאשר מופיע הערך 1, התרגום נכשל והטקסט היפני מכיל למעשה את הטקסט המקורי באנגלית. מומלץ לסנן את השורות האלו החוצה לפני תחילת האימון.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets או מורידים את קובץ ה־JSON שנמצא במאגר, oasst1_89k_ja_20231027.json. אין צורך לבקש אישור גישה מראש. לפני שמתחילים לאמן, חייבים לסנן רשומות לפי השדה ng_translation, שבו הערך 1 מעיד שהתרגום נכשל והטקסט נשאר באנגלית. בנוסף, מי שרוצה לאמן מודל הוראות צריך להמיר את המבנה של שואל ועונה בעזרת סקריפט עיבוד חיצוני.
from datasets import load_dataset
ds = load_dataset("kunishou/oasst1-89k-ja")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה מחדש, ואינו מחייב אתכם לשחרר מודלים שאימנתם תחת אותו רישיון. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והצהרת הרישיון המקורית של היוצר בכל עותק או נגזרת של המאגר.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים