llm-japanese-dataset-vanilla
קוד פתוחizumi-labcc-by-sa-4.02023-05-23
מאגר שיחות והוראות ביפנית שמיועד לכוונן מודלי שפה למענה בצ'אט. הוא מבוסס על משאבי שפה ציבוריים שמהם הוסרו משימות תרגום בין אנגלית ליפנית.
- 309הורדות בחודש
- 34לייקים
מה זה
המאגר מכיל מיליוני רשומות המיועדות לאימון מודלים על משימות הוראה ושיחה ביפנית. הוא נוצר מתוך גרסה רחבה יותר של החוקרים, אך בגרסת הווניל הזו נופו במכוון דאטהסטים של תרגום בין אנגלית ליפנית. הרשומות מבוססות על מגוון משאבי שפה פומביים שעברו התאמה לצורכי צ'אט, ללא פירוט מובנה של כל מקור בתוך הכרטיס עצמו.
מבחינת היקף, הגרסאות השונות משקפות שינויים בכמות הנתונים. גרסה 0.1.0 כללה 1,811,964 שורות, גרסה 1.0.0 עלתה ל־2,515,626 שורות, וגרסה 1.0.2 צומצמה מעט ל־2,492,588 שורות. המידע מחולק לקובץ נתונים ראשי תחת רישיון שיתוף זהה לצד קובצי הודעות וזכויות.
מתאים ל
- אימון LoRA ביפנית
כוונון יעיל של מודלי בסיס לביצוע הוראות ומענה על שאלות בשפה היפנית.
- התאמת צ'אט בוטים
לימוד מודלים לנהל שיחה טבעית ורציפה ביפנית על בסיס מיליוני הדוגמאות.
- מחקר אקדמי על מודלי שפה
שחזור תוצאות המאמר והשוואת יכולות של ארכיטקטורות שונות על נתוני הוראות.
איפה זה נופל
הנתונים כולם ביפנית בלבד, בלי שום כיסוי לשפות אחרות ובלי תמיכה בעברית. הכרטיס מודה שהמאגר הורכב ממשאבים חיצוניים שונים, אך אינו מפרט סינון של תוכן פוגעני, שגיאות דקדוקיות או הטיות תרבותיות. נתוני הבסיס פורסמו במאי 2023, כך שהם לא מכסים אירועים עדכניים. לפני שמכניסים מודל שאומן עליו לשימוש, חובה לבדוק את איכות הפלטים באופן עצמאי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
הרישיון הוא CC-BY-SA 4.0 שמתיר עקרונית שימוש מסחרי בכפוף לייחוס מתאים. עם זאת, תנאי השיתוף הזהה מחייב לבחון היטב אם המודל המאומן נחשב יצירה נגזרת. במקרה כזה, ייתכן שתחויבו לפתוח את המשקולות תחת אותו רישיון.
מה ההבדל בין גרסה זו למאגר המקורי של המעבדה?
הגרסה הזו מוגדרת כווניל משום שהוסרו ממנה דאטהסטים של תרגום בין אנגלית ליפנית. המטרה היא להתמקד במשימות הוראה ושיחה נטו ביפנית, בלי לערבב משימות של תרגום מכונה.
האם יש במאגר טקסטים בעברית או באנגלית?
לא, המאגר מוגדר כ־ja בלבד ומכיל הוראות ביפנית. אם אתם מחפשים אימון רב לשוני שכולל עברית, המאגר הזה אינו רלוונטי עבורכם.
כמה רשומות יש בדאטהסט בפועל?
המספר תלוי בגרסה שאתם מושכים. בגרסה הראשונה היו 1,811,964 רשומות, בגרסה 1.0.0 המספר עלה ל־2,515,626, ובגרסה 1.0.2 הוא עומד על 2,492,588 רשומות.
איך טוענים
אתם מושכים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה הרגילה, בלי צורך בטופסי גישה או אישורים מיוחדים. המאגר פתוח להורדה מיידית ומכיל קובץ jsonl בשם data-cc-by-sa לצד סקריפט גרסאות. כדאי לשים לב שקריאה ישירה תביא את הגרסה האחרונה עם כמעט שניים וחצי מיליון רשומות, מה שדורש משאבי זיכרון ואחסון משמעותיים. אם אתם רוצים לשחזר ניסוי מדויק, אפשר לציין revision ספציפי כמו 0.1.0 או 1.0.0 בקוד הטעינה.
from datasets import load_dataset
ds = load_dataset("izumi-lab/llm-japanese-dataset-vanilla")הרישיון
הרישיון הוא CC-BY-SA 4.0. מותר להשתמש בנתונים באופן חופשי ואף מסחרי, אך חובה לתת ייחוס למחברים. הדרישה המשמעותית ביותר היא שיתוף זהה, כלומר כל יצירה נגזרת חייבת להשתחרר תחת אותו רישיון בדיוק. עבור מודל שמאומן על הדאטהסט, הדבר עלול להגביל הפצה סגורה או קוד קנייני.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון