Dolci-Instruct-DPO
קוד פתוחallenaiodc-by2025-10-22
תערובת של 260 אלף צמדי העדפות שנועדו לכיוונון מודלים בשיטת DPO. המאגר נבנה במקור עבור Olmo 3 Instruct 7B ומתמקד ביצירת פער ברור בין התשובה שנבחרה לתשובה שנדחתה.
- 2,038הורדות בחודש
- 16לייקים
מה זה
המאגר כולל 260,000 צמדי העדפות המחולקים לשלושה מקורות עיקריים. החלק הראשון מכיל 125,000 צמדים שנוצרו לפי היוריסטיקת העדפה מתוך מאמר Delta Learning של Geng ואחרים מ־2025. החלק השני מורכב מ־125,000 צמדים שעברו שיפוט מבוסס GPT בסגנון Ultrafeedback, עם התאמה שנועדה למקסם את הניגודיות בין התשובה הטובה לגרועה.
יתר הדאטהסט כולל 10,000 צמדי העדפות של שיחות מרובות תורות. חצי מהם נבנו מתוך הקשר סינתטי, והחצי השני מתוך שיחות עצמיות של מודלים. כל הרשומות מיועדות לאימון ישיר של שלב יישור ההעדפות במודלי שפה.
מתאים ל
- אימון DPO למודלי שיחה
כיוונון העדפות ישיר למודלי 7B ומעלה כדי לשפר את איכות המענה והתאמתו להנחיות.
- שיפור שיחות מרובות תורות
שימוש ב־10,000 הדוגמאות הרב-שלביות כדי ללמד את המודל לשמור על עקביות בשיחה.
- מחקר על פערי העדפה
בדיקת שיטות תיוג שונות שמבוססות על שופטי GPT ומקסום הניגודיות בין פלטים.
איפה זה נופל
הכרטיס לא מציין אף מילה על תמיכה בשפות אחרות מלבד אנגלית, ולכן הנחת העבודה היא שאין כאן עברית כלל. חלק ניכר מהדאטה מסתמך על מודלי שיפוט כמו GPT ועל שיחות סינתטיות, מה שמביא איתו את ההטיות המובנות של אותם מודלים.
מי שמתכנן להכניס את התוצרים למוצר צריך לבדוק היטב את איכות הפלטים. דאטהסט שמכוון להגדיל ניגודיות באופן מלאכותי עלול לכלול תשובות קיצוניות מדי או לייצר ביטחון עצמי מופרז במודל המאומן.
אותה משפחה
Dolci יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם הדאטהסט מתאים לאימון מודל בעברית?
החומרים שפורסמו לא מזכירים עברית בשום שלב. כמעט בוודאות מדובר בטקסטים באנגלית בלבד, כמו רוב הדאטהסטים שמגיעים מהפרויקטים של Olmo. אם תאמנו מודל מקומי על המאגר הזה, הוא ילמד עקרונות העדפה כלליים אך לא ישפר את העברית שלו.
איך בנויים הנתונים ומה הפורמט שלהם?
המאגר מורכב מארבעה קבצי Parquet שמכילים יחד 260,000 צמדים. כל שורה מייצגת אינטראקציה עם פרומפט, תשובה שהוגדרה כעדיפה ותשובה חלופית שנדחתה. אין כאן חלוקה מובנית לסט בדיקה, כך שתצטרכו להפריד נתונים להערכה בעצמכם.
מה מקור הנתונים ואיך החליטו מה עדיף?
מחצית מהנתונים נבנו לפי שיטת Delta Learning שפורסמה במאמר מ־2025. המחצית השנייה מבוססת על מודל שיפוט מבוסס GPT שחיפש בכוונה פער מקסימלי בין שתי התשובות. בנוסף שולבו עשרת אלפים שיחות מרובות שלבים שנאספו משיחות סינתטיות ודיאלוג פנימי של מודלים.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון הבסיסי הוא ODC-BY שמאפשר שימוש תחת ייחוס, אך המפרסמים צירפו סייג מפורש. הם דורשים לפעול לפי הנחיות השימוש האחראי של Ai2 ומגדירים את המאגר לצרכי מחקר וחינוך. מומלץ לבחון את ההנחיות הללו לעומק לפני שמשלבים תוצרים במערכת מסחרית.
איך טוענים
אתם מושכים את הקבצים ישירות מספרית הדאטהסטים של Hugging Face בלי צורך בהרשאה מיוחדת או אישור גישה מוקדם. הנתונים מחולקים לארבעה קבצי Parquet שמכילים את כלל הדוגמאות תחת ספליט של אימון בלבד, לצד קובץ התיעוד.
לפני שמריצים אימון כדאי לפתוח את הקבצים ולוודא את שמות העמודות שמחזיקות את הפרומפט, התשובה הנבחרת והתשובה שנדחתה. החלוקה לארבעה חלקים מאפשרת לטעון את הנתונים במקביל או בזרם רציף לפי גודל הזיכרון שיש לכם במכונה.
from datasets import load_dataset
ds = load_dataset("allenai/Dolci-Instruct-DPO")הרישיון
הרישיון הוא ODC-BY, שדורש מתן קרדיט וייחוס ליוצרים בכל שימוש או הפצה. המפרסמים מציינים שהמאגר מיועד למחקר ולחינוך לפי קווי ההנחיה של Ai2, כך שאם אתם מתכננים שימוש מסחרי במודל שאימנתם עליו, חובה לבדוק היטב את תנאי השימוש האחראי של המכון.