lmsys-chat-1m-synth
קוד פתוחtokyotech-llmother2024-10-24
שיחות סינתטיות ביפנית ובאנגלית שנגזרו ממאגר LMSYS-Chat-1M. החבילה מתאימה למי שמאמן מודלים רב לשוניים ורוצה תגובות מודל ודירוגי העדפה שנבנו על בסיס פרומפטים אנושיים אמיתיים.
- 969הורדות בחודש
- 23לייקים
מה זה
המאגר מכיל שיחות באנגלית וביפנית שנבנו על גבי שיחות משתמש מקוריות מתוך LMSYS-Chat-1M. הוא מחולק לכמה תתי מאגרים לפי המודלים שיצרו את התגובות הסינתטיות, ביניהם Llama 3.1, Gemma 2, Gemma 3 וגרסת GPT-OSS. הנתונים שימשו את החוקרים לאימון המשך של סדרת המודלים Swallow.
המבנה כולל הוראות משתמש שתורגמו ליפנית, כולל גרסה שמכילה תוכן לא מסונן המסומן כלא בטוח, לצד קובצי תגובות וציוני העדפה. הקבצים שמכילים את הוראות המשתמש מוצפנים, והצוות מצרף גם את סקריפטי הפייתון ששימשו לחילול התגובות ולחישוב הציונים לצורכי שחזור מחקרי.
מתאים ל
- אימון מודלים ליפנית
כוונון של מודלי שיחה לשפה היפנית על בסיס פרומפטים מגוונים ותגובות סינתטיות.
- אימון העדפה ודירוג
שימוש בציוני ההעדפה המצורפים לתגובות כדי לבצע אופטימיזציה ישירה והתאמת מודלים.
- שחזור מחקר Swallow
הרצת סקריפטי יצירת השיחות לבדיקת תהליכי הפוסט אימון של מודלי המחקר היפניים.
איפה זה נופל
המאגר כולל יפנית ואנגלית בלבד, ואין בו שום תמיכה בעברית. חלק מהוראות המשתמש כוללות תוכן לא בטוח שסומן במפורש בקבצים ייעודיים, כך שחובה לסנן אותו לפני אימון שמיועד למוצר סופי. מעבר לזה, התלות ברישיון של LMSYS מאפשרת למחברים המקוריים לדרוש מכם מחיקה מלאה של הנתונים בכל עת, מה שמייצר סיכון תפעולי כבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הכללי מוגדר כאחר בגלל פיצול הזכויות בין הקבצים השונים. קובצי ההוראות כפופים לחוזה של LMSYS ומאפשרים למחברים לדרוש מחיקה של המידע בכל רגע. תגובות המודלים מוגבלות כל אחת לפי הרישיון המקורי שלה, כמו Llama 3.1 או Gemma, כך שחובה לוודא שכל תת קובץ עומד בדרישות המסחריות שלכם.
האם המאגר כולל שיחות או תמיכה בעברית?
המאגר אינו מכיל נתונים בעברית כלל. השפות היחידות שנתמכות וקיימות בקבצים הן יפנית ואנגלית. אם אתם מחפשים מקורות לאימון מודל מקומי, תצטרכו לפנות למאגרים אחרים.
איך ניגשים לקובצי המשתמש המוצפנים?
קובצי ההוראות ביפנית שמורים בפורמט מוצפן ומחייבים מפתח פענוח. כדי לקבל את המפתח צריך להירשם, למסור פרטי קשר ולהסכים לתנאי השימוש של LMSYS-Chat-1M. שאר הקבצים, כמו תגובות המודלים והסקריפטים, אינם מוצפנים וזמינים להורדה ישירה.
איך הנתונים במאגר נאספו ונוצרו בפועל?
בסיס הנתונים מגיע מפרומפטים אנושיים של LMSYS-Chat-1M שתורגמו ליפנית. את התגובות חיללו החוקרים באמצעות מודלים כמו Llama 3.1 ו־Gemma בגרסאות שונות. לצד התגובות נשמרו גם ציוני העדפה שחושבו בעזרת סקריפטים ייעודיים שמצורפים למאגר.
איך טוענים
הנתונים מחולקים לקובצי JSONL דחוסים ומוצפנים בפורמט GPG. כדי לפתוח את הוראות המשתמש ביפנית צריך לקבל מפתח פענוח, והגישה אליו דורשת הסכמה לתנאי הרישיון המקוריים של LMSYS ומסירת פרטי קשר. תגובות העוזר וציוני ההעדפה מגיעים בקובצי jsonl.gz נפרדים לכל משפחת מודלים. בנוסף, קובצי הסקריפטים בתיקיית החומרים מסופקים כפי שהם ללא תמיכה.
from datasets import load_dataset
ds = load_dataset("tokyotech-llm/lmsys-chat-1m-synth")הרישיון
הרישוי מפוצל ומורכב. הוראות המשתמש כפופות להסכם של LMSYS, כולל סעיף מחיקה לפי דרישה. תגובות העוזר מחולקות לפי תנאי השימוש של Llama 3.1, תנאי Gemma, ורישיון Apache 2.0 עבור גרסת GPT-OSS והסקריפטים. המשמעות היא שאי אפשר להתייחס למאגר כמקשה אחת, וצריך לבדוק כל תת קובץ לפי תנאי המודל שיצר אותו.