Magpie-Pro-MT-300K-v0.1
קוד פתוחMagpie-Alignllama32024-06-11
שיחות מרובות תורות שחולצו ישירות מתוך Llama 3 70B Instruct. המאגר מיועד לאימון מודלים על הוראות מורכבות ומענה ארוך בלי תיוג אנושי יקר.
- 1,534הורדות בחודש
- 32לייקים
מה זה
המאגר מציע שיחות סינתטיות שנוצרו על ידי ניצול תבנית הפרומפט של Llama 3 70B Instruct. המודל יצר בעצמו גם את שאלת המשתמש וגם את התשובה, ולאחר מכן החוקרים הרחיבו את השיחות למבנה של מספר תורות.
הסינון בגרסה הזו קפדני יחסית. נבחרו שאלות ברמת איכות מוגדרת כטובה ומעלה, דרגת קושי שאינה טריוויאלית, וציון תגמול סביר להוראה. הוסרו שאלות שחוזרות על עצמן או הוראות שנקטעו באמצע, ומתוך כלל המאגר נבחרו שלוש מאות אלף השיחות עם התשובות הארוכות ביותר.
המפרסמים מציינים במפורש שהסבב הראשון של השיחה חופף ברובו לגרסה המסוננת הרגילה של הפרויקט, ולכן אין טעם לאמן על שתיהן יחד.
מתאים ל
- אימון SFT מרובה תורות
כוונון עדין של מודלי שפה בסיסיים כדי להקנות להם יכולת ניהול שיחה מורכבת וארוכה באנגלית.
- יישור התנהגות מודל
שיפור ביצועים במבחני הערכה של הוראות כמו AlpacaEval וארנה בלי תיוג אנושי ידני.
- מחקר על דאטה סינתטי
בדיקת היכולת של מודלים קטנים ללמוד ישירות מהפלט והחשיבה של מודל ענק כמו שבעים מיליארד.
איפה זה נופל
כל הטקסט כאן מיוצר כולו על ידי מכונה. אם Llama 3 70B הוזה עובדות או סובל מדעות קדומות, הפגמים האלה נכנסו ישירות לתוך קבצי האימון שלכם. בנוסף, המאגר כולו באנגלית בלבד, כך שהוא לא יעזור למי שמחפש לכוונן מודל להוראות בעברית. מאחר שהסינון בחר בכוונה את התשובות הארוכות ביותר, המודל שתאמנו עלול לפתח נטייה לחפירות ותשובות מנופחות.
שאלות
נפוצות
האם המאגר מתאים לאימון מודל בעברית?
המאגר מוגדר ומכיל טקסט באנגלית בלבד. אימון עליו לא ישפר את יכולות השיחה של המודל בעברית. אפשר אולי לתרגם אותו באופן עצמאי, אבל כרגע אין בו תוכן מקומי.
במה הוא שונה מגרסת Filtered הרגילה?
גרסת MT מרחיבה את השאלות הקשות לשיחות שלמות עם מספר תורות, בעוד הגרסה הרגילה כוללת בעיקר פנייה ותגובה בודדת. המפתחים מזהירים לא לשלב בין שני המאגרים באימון כי התור הראשון זהה ביניהם.
האם מותר להשתמש בו למוצרים מסחריים?
הדאטהסט מופץ ברישיון לאמה שלוש. שימוש מסחרי אפשרי, אבל הוא כפוף במלואו למגבלות המשפטיות ומדיניות השימוש של מטא. כדאי לקרוא את תנאי הרישיון של המודל המקורי לפני שילוב במערכת מסחרית.
מאיפה הגיעו השאלות של המשתמשים?
השאלות לא נאספו מאנשים אמיתיים. החוקרים ניצלו את תבנית השיחה כדי לגרום למודל להשלים בעצמו את שאלת המשתמש, ואז לענות עליה.
איך טוענים
הנתונים מגיעים בחלוקה לשבעה קבצי Parquet בתיקיית המידע. אפשר לטעון אותו ישירות דרך ספריית הדאטהסטס הרגילה של פייתון בלי שום צורך לבקש הרשאות מיוחדות או לחכות לאישור גישה.
מבנה הרשומות מציג שיחות שלמות עם תורות מרובים. מומלץ לוודא שהטוקנייזר שלכם מותאם לתבנית השיחה של לאמה, כדי לא לאבד את המבנה המקורי של חילופי הדברים בין המשתמש לעוזר.
from datasets import load_dataset
ds = load_dataset("Magpie-Align/Magpie-Pro-MT-300K-v0.1")הרישיון
הרישיון כאן הוא רישיון השימוש של llama3. זה אומר שמותר להשתמש בנתונים כדי לאמן מודלים, אבל כפופים לכל המגבלות והתנאים המסחריים של חברת מטא. מודל שאומן על הנתונים הללו יהיה מחויב לעמוד בכללי הרישיון המקוריים של משפחת לאמה.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס