contextual-dpo-v0.1
קוד פתוחjondurbincc-by-4.02024-01-10
המאגר כולל זוגות העדפה לאימון DPO שנועדו להכריח מודלים לענות אך ורק מתוך טקסט נתון ולצטט מקורות. הוא מיועד למי שרוצה לצמצם הזיות במערכות RAG.
- 108הורדות בחודש
- 33לייקים
מה זה
הנתונים בנויים סביב פורמט שאלות ותשובות ייעודי של פרויקט airoboros, שמטרתו ציות עיוור להקשר. הפרומפטים כוללים בלוקים מוגדרים של טקסט ומטא-דאטה שמופרדים בתגיות קבועות כמו BEGININPUT ו־BEGINCONTEXT, ואחריהם מופיעה הוראה או שאלה שדורשת מהמודל לחלץ מידע ולציין בדיוק מאיזה מקור הוא הגיע.
התשובות שנבחרו כטובות נוצרו באמצעות airoboros בעזרת מודולי הדרכה ספציפיים להקשר רגיל ולהקשרים סותרים עובדות, במטרה לבחון אם המודל מעדיף את הטקסט המצורף על פני ידע קודם. לעומתן, התשובות שנדחו נוצרו על ידי המודל mpt-30b-instruct, ומציגות כשלים בהיצמדות להקשר או בציטוט המקורות הנכונים מתוך כמה קטעים שהוזנו יחד.
מתאים ל
- אימון DPO למערכות RAG
לימוד מודלים להעדיף תשובות שמסתמכות ישירות על קטעי המידע שנשלפו עבורם במקום על ידע קודם.
- שיפור ציטוט מקורות
אימון מודל לשלוף ולציין את המטא-דאטה של המסמך המדויק מתוך כמה קטעים שהוגשו לו יחד בפרומפט.
- הפחתת הזיות בעובדות סותרות
הכרחת המודל לענות בהתאם לעובדות חדשות או שגויות שמופיעות במכוון בהקשר ולא להתווכח איתן.
איפה זה נופל
אם אתם בונים מערכת שלא עובדת באנגלית, אין לכם מה לחפש כאן כי כל הדוגמאות מבוססות על מחוללים באנגלית בלבד. הבעיה הגדולה ביותר היא התלות המוחלטת בפורמט התגיות הארכאי. המודל שיתאמן על זה ילמד להישמע להקשר בעיקר כשתעטפו את המידע בדיוק לפי התבנית הזו, ולא בהכרח בשאילתות טבעיות. בנוסף, כל המידע סינתטי לגמרי ומגיע משני מודלים, כך שאין כאן בדיקה אנושית אמיתית של איכות התשובות.
שאלות
נפוצות
האם אפשר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון הוא cc-by-4.0 ומאפשר שימוש מסחרי חופשי. החובה היחידה שלכם היא לתת ייחוס ברור ליוצר המאגר.
האם יש במאגר תמיכה בעברית?
המאגר כולו נוצר באנגלית בעזרת מודלים ייעודיים. אין בו דוגמאות בעברית ולא מומלץ להשתמש בו ישירות לאימון מודל שאמור לקרוא מסמכים בעברית בלי תרגום או התאמה.
איך נאסף המידע?
הנתונים לא נאספו מבני אדם אלא יוצרו בצורה סינתטית לחלוטין. התשובות הטובות הופקו באמצעות כלי airoboros והתשובות הפסולות הופקו באמצעות המודל mpt-30b-instruct.
מה שונה בפורמט הזה לעומת דאטהסטים רגילים של RAG?
הוא מחייב מעטפת תגיות ייחודית כמו BEGININPUT ו־BEGINCONTEXT מסביב לכל פיסת מידע ומטא-דאטה. זה עוזר למודל לזהות מקורות במדויק, אבל קושר אתכם לתבנית פרומפט מסורבלת מאוד בזמן עבודה שוטפת.
איך טוענים
הנתונים יושבים בקובץ contextual-dpo.parquet בודד בתוך המאגר, ללא צורך באישור גישה או חתימה על תנאים. בשביל לאמן תצטרכו לחלץ את עמודות הפרומפט, התשובה שנבחרה והתשובה שנדחתה. שימו לב שהפרומפט מובנה בתחביר קשיח של תגיות טקסט שחייבים לשחזר בדיוק גם בזמן הסקת מסקנות בפועל.
from datasets import load_dataset
ds = load_dataset("jondurbin/contextual-dpo-v0.1")הרישיון
המאגר שוחרר תחת רישיון cc-by-4.0. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים, בתנאי שאתם נותנים קרדיט מתאים ליוצר. אין דרישה לשתף את המודל המאומן או שינויים תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס