configurable-system-prompt-multitask
קוד פתוחvicgallecc-by-4.02024-03-29
המאגר מרכז דוגמאות העדפה סינתטיות שנועדו ללמד מודלים לציית להנחיות מערכת משתנות בנושאי בטיחות ואמינות. הוא מיועד למי שרוצה לשלוט בהתנהגות המודל בזמן ריצה במקום לקבע אותה מראש.
- 67הורדות בחודש
- 29לייקים
מה זה
הנתונים כאן מיועדים למשימות יצירת טקסט ומבוססים על העבודה במאמר על כוונון בטיחות גמיש באמצעות דאטה סינתטי. הרשומות מחולקות לשני מקורות עיקריים. הראשון מתמקד בביקורת עצמית על התנהגויות מזיקות באמצעות מודל SOLAR-Instruct, שבו השתמשו בשתי הנחיות מערכת הפוכות, עוזר בטוח שנמנע מתוכן לא חוקי ומזיק מול עוזר לא מצונזר לחלוטין.
המקור השני נשען על המאגר truthy-dpo במטרה לשפר את אמיתיות התשובות. גם שם נעשה שימוש בהנחיות מערכת שונות, אחת שמגדירה עוזר אמין, ניטרלי וכנה, ואחרת שמגדירה דמות מסוימת במשחק תפקידים. התוצאה היא מבנה נתונים שבו התשובה המועדפת והתשובה שנדחתה משתנות ישירות בהתאם להוראת המערכת שנבחרה.
מתאים ל
- אימון העדפות DPO
אימון מודלים לבחירת תשובות לפי סגנון משתנה של בטיחות או חוסר צנזורה.
- הטמעת שליטה בזמן ריצה
לימוד המודל להגיב אחרת לפי פרומפט מערכת שמשתנה מדרישה לדרישה.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של דאטה העדפות סינתטי על רמת האמינות והבטיחות של מודל שפה.
איפה זה נופל
כל הנתונים במאגר נוצרו בצורה סינתטית באנגלית בלבד, ואין כאן עברית בכלל. הדאטה נשען על ביקורת עצמית של מודל ספציפי ועל דאטהסט חיצוני אחד, מה שעלול להכניס הטיות של אותם מודלים בלי בקרת איכות אנושית ידנית. בנוסף, חלוקת ההעדפות תלויה לחלוטין בהנחת העבודה של החוקרים לגבי מה נחשב תוכן מזיק או כנה, ולכן לא הייתי דוחף את זה למוצר ייצור בלי לבדוק קודם את התגובות שנבחרו כעדיפות.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 שמתיר שימוש מסחרי חופשי. אתם רק חייבים לתת קרדיט ליוצר ולציין קישור למאמר או למאגר כפי שמתבקש בתנאי הרישיון.
האם יש בדאטהסט תמיכה בעברית?
לא, הדאטהסט מוגדר ומכיל טקסטים בשפה האנגלית בלבד. אם המטרה שלכם היא מודל שמגיב בעברית להנחיות מערכת, תצטרכו לתרגם את הרשומות או לייצר דאטה מקביל.
מאיפה הגיעו הנתונים של ההעדפות?
הדאטה מורכב משני מקורות שונים שנוצרו בצורה סינתטית. חלק אחד הופק מביקורת עצמית של מודל SOLAR-Instruct על משימות בטיחות, והחלק השני מבוסס על המאגר הקיים truthy-dpo.
איך מכינים את השדות לאימון בסיסי?
הדאטה כולל שדות של system, prompt, chosen ו־rejected. אם הכלי שלכם לא תומך בהפרדה של הנחיית מערכת, עליכם לאחד את שדה ה־system עם שדה ה־prompt לפני תחילת האימון.
איך טוענים
טוענים את הקובץ ישירות דרך חיבור למאגר, כאשר המידע שמור בקובץ parquet יחיד בחלוקת train ללא צורך באישור גישה מיוחד. המבנה כולל ארבע עמודות עיקריות: הנחיית המערכת, שאלת המשתמש, התשובה הנבחרת והתשובה שנדחתה. אם עובדים עם ספריית trl לצורך אימון העדפות, חשוב לוודא שהטוקנייזר של המודל שלכם תומך בהנחיות מערכת, או לשרשר את שדה המערכת ישירות אל שדה הפרומפט.
from datasets import load_dataset
ds = load_dataset("vicgalle/configurable-system-prompt-multitask")הרישיון
המאגר משוחרר ברישיון cc-by-4.0 שמתיר שימוש מסחרי ומחקר, כולל שינוי של הנתונים והפצה שלהם. התנאי היחיד הוא מתן קרדיט ברור ליוצר המקורי לפי דרישות הרישיון, ואין חובה לשתף מודלים שתאמנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס