Magpie-Llama-3.1-Pro-MT-300K-Filtered
קוד פתוחMagpie-Alignllama3.12024-08-11
שיחות מרובות תור מסוננות שחולצו ישירות מתוך Llama 3.1 70B Instruct. המטרה כאן היא אימון SFT על דאטה עשיר בלי תבניות סינתטיות שחוזרות על עצמן.
- 1,206הורדות בחודש
- 17לייקים
מה זה
המאגר כולל 300,000 שיחות רב-שלביות שנוצרו בשיטת Magpie, שבה מנצלים את המבנה האוטו-רגרסיבי של המודל כדי לייצר גם את שאלת המשתמש וגם את התשובה. כל שיחה לוותה בתגיות עשירות שכוללות אורך קלט ופלט, קטגוריית משימה, ציון איכות קלט, רמת קושי, מרחק הטמעה לשכן קרוב כדי למנוע כפילויות, תיוג בטיחות באמצעות Llama-Guard-2-8B, ציון תגמול ושפה.
הבסיס התחיל ממיליון רשומות גולמיות, סונן ל־500 אלף לפי איכות קלט ברמת good ומעלה, ציון תגמול מעל מינוס עשר, והסרת שאלות חלקיות. לאחר מכן הרחיבו את הנתונים לשיחות מרובות תור, וחתכו החוצה עוד 200 אלף דוגמאות על ידי דילול תגובות שרשרת חשיבה שמכילות את התבנית Step 1 וניקוי הוראות קטועות בתור השני.
מתאים ל
- אימון SFT רב-שלבי
כוונון עדין של מודלי בסיס לניהול שיחה מורכבת עם הקשר שנשמר על פני מספר תורות.
- סינון לפי איכות ובטיחות
בניית תתי-מאגרים מותאמים אישית בעזרת ציוני Llama-Guard ודירוגי הקושי המצורפים לכל רשומה.
- מחקר על דאטה סינתטי
השוואת ביצועים בין שיחות שנוצרו ישירות ממודל לבין נתונים שנאספו מבני אדם.
איפה זה נופל
כל הנתונים נוצרו בצורה סינתטית לחלוטין על ידי Llama 3.1 70B Instruct, מה שאומר שההטיות, נקודות העיוורון וטעויות העובדה של המודל המקורי עברו ישירות לתוך הדאטהסט. המאגר מוגדר לשפה האנגלית בלבד, ואין בו ייצוג לשפות אחרות. אם אתם בונים מוצר שפונה לקהל ישראלי, תצטרכו להביא מקורות אחרים לחלוטין. בנוסף, למרות הסינון של תבניות חשיבה והוראות קטועות, עדיין יש לבדוק ידנית מדגם של תורות השיחה השניים כדי לוודא שאין בהם הזיות או חזרתיות.
שאלות
נפוצות
האם הדאטהסט מתאים לפרויקטים בעברית?
המאגר מוגדר כולו באנגלית ונוצר על בסיס הנחיות באנגלית בלבד. הוא לא יסייע לכם בשיפור היכולות הלשוניות של מודל בעברית. אם תרצו להשתמש בו בהקשר מקומי, תצטרכו לתרגם אותו או להשתמש בו רק ללימוד יכולות שיחה כלליות.
מותר להשתמש בזה כדי לאמן מודל מסחרי?
השימוש מותר תחת תנאי הרישיון של Llama 3.1 Community License. זה מאפשר שימוש מסחרי, אך כולל מגבלות ספציפיות של מטא לגבי שימוש בתוצרי המודל וכמות משתמשים חודשית. מומלץ לקרוא את תנאי הרישיון של מטא לפני תחילת האימון.
איך הנתונים נאספו בפועל?
החוקרים השתמשו בשיטת Magpie, שבה שולחים למודל Llama 3.1 70B Instruct רק את תבנית הפרומפט השמאלית ללא שאילתת משתמש. המודל מייצר בעצמו את השאלה ולאחר מכן את התשובה. התהליך הזה הורחב למספר תורות וסונן באמצעות מודלי בקרה ותגמול.
במה הדאטהסט הזה שונה מגרסת ה־500K של אותו פרויקט?
גרסת ה־500K הכילה כמות גדולה של תגובות מסוג שרשרת חשיבה עם שלבים מפורשים. בגרסת ה־300K החוקרים הפחיתו משמעותית תגובות שכוללות שלבי חשיבה, וניקו בנוסף הוראות קטועות שלא הושלמו בתור השני של השיחה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה Magpie-Align/Magpie-Llama-3.1-Pro-MT-300K-Filtered. המאגר מחולק לשישה קובצי parquet תחת תיקיית data, כך שמומלץ לעבוד ב־streaming אם רוצים רק לדגום או אם הזיכרון מוגבל. אין צורך באישור גישה ידני כדי למשוך את הקבצים. בעת הטעינה כדאי לשים לב לשדות של תורות השיחה ולסנן לפי שדות העזר כמו Safety או Task Category לפני שמתחילים אימון בפועל.
from datasets import load_dataset
ds = load_dataset("Magpie-Align/Magpie-Llama-3.1-Pro-MT-300K-Filtered")הרישיון
הרישיון כאן הוא רישיון הקהילה של Meta עבור Llama 3.1. מותר להשתמש בו לצרכים מחקריים ומסחריים, אך השימוש כפוף למדיניות השימוש ההוגן של מטא ולהגבלת היקף משתמשים חודשי לפי תנאי הרישיון. אם אתם מאמנים מודל על הנתונים הללו, עליכם לוודא שהתוצר שלכם אינו מפר את המגבלות של מטא.
- שימוש מסחרי עד 700 מיליון משתמשים
- שינוי הקוד
- חובת ייחוס