Snorkel-Mistral-PairRM-DPO-Dataset
קוד פתוחsnorkelaiapache-2.02024-01-22
המאגר כולל העדפות שנוצרו באיטרציות DPO לשיפור מודלי שפה, על בסיס פרומפטים מ־UltraFeedback. הוא מתאים למי שרוצה לאמן התאמת העדפות בלי תלות בתשובות של מודלים סגורים.
- 199הורדות בחודש
- 45לייקים
מה זה
הנתונים נבנו מתהליך איטרטיבי בן שלושה סבבים. המפתחים לקחו רק את הפרומפטים מתוך UltraFeedback, ללא התשובות המקוריות, וחילקו אותם לתתי קבוצות של 20,000 פרומפטים בכל סבב. בסבב הראשון הם ייצרו חמש תשובות שונות לכל פרומפט באמצעות Mistral-7B-Instruct-v0.2. התשובות דורגו באמצעות מודל הפרס PairRM, כשהתשובה עם הציון הגבוה סומנה כנבחרת והתשובה הנמוכה כנדחית.
בסוף כל איטרציה אומן המודל בשיטת DPO על צמדי התשובות, והפך למודל הבסיס שמייצר את התשובות לאיטרציה הבאה עם סט פרומפטים חדש. המאגר מחולק לשישה קבצי אימון ומבחן לפי שלושת הסבבים. הרשומות כוללות את הפרומפט המקורי, הודעות התשובה שנבחרה וזו שנדחתה, וכן את כל חמש התשובות שנוצרו לצד ציוני מודל הפרס שלהן.
מתאים ל
- אימון DPO איטרטיבי
אימון מודל שפה על פיצול האיטרציות כדי לשחזר את תהליך שיפור הביצועים ההדרגתי.
- כיול מודלי פרס
בדיקת מודלי תגמול חדשים מול חמש התשובות והציונים של PairRM בכל רשומה.
- התאמת מודלים פתוחים
כוונון ישיר של מודלים בקוד פתוח באמצעות צמדי chosen ו־rejected מוכנים.
איפה זה נופל
כל התוכן מבוסס על הפרומפטים של UltraFeedback, מה שאומר שאין כאן כיסוי מכוון לעברית או משימות מקומיות. הנתונים מגיעים מייצור סינתטי של Mistral ומודל תגמול ספציפי, כך שכל הטיה או עיוורון של PairRM נכנסו ישירות לסימון ההעדפות. בנוסף, מדובר בתהליך שרץ על מודל בסיס מתחילת 2024, ולכן אינו משקף יכולות של ארכיטקטורות חדשות יותר.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
כן, הרישיון המוגדר הוא apache-2.0 ומאפשר שימוש מסחרי מלא. אתם יכולים לאמן עליו מודלים ולשלב אותם במוצרים שלכם. החובה העיקרית היא לצרף עותק של הרישיון והודעת הזכויות המקורית.
האם יש במאגר נתונים בעברית?
המאגר מבוסס על UltraFeedback ולכן הוא מורכב כמעט כולו מפרומפטים באנגלית. לא נעשתה התאמה או סינון לטובת עברית. אם המטרה היא מודל ייעודי לשפה העברית, הנתונים האלה לא יתנו מענה ישיר.
איך נאספו התשובות שנמצאות בקבצים?
החוקרים לקחו רק את הפרומפטים ויצרו להם חמש תשובות חדשות באמצעות Mistral-7B-Instruct-v0.2. התשובות לא נאספו ממודלים חיצוניים סגורים ולא נכתבו בידי אדם. הדירוג נקבע אוטומטית לפי מודל PairRM.
במה הוא שונה מ־UltraFeedback הרגיל?
במאגר הזה אין אף תשובה מקורית מ־UltraFeedback, אלא רק את הפרומפטים שנלקחו ממנו. כל הטקסטים והתיוגים נוצרו מחדש במסגרת תהליך איטרטיבי של שלושה סבבי אימון DPO. בנוסף, לכל פרומפט מצורפות חמש התשובות שנוצרו והציונים שקיבלו.
איך טוענים
הנתונים שמורים בקבצי Parquet ישירים בחלוקה ל־train ו־test עבור כל איטרציה, מ־1 עד 3. טוענים אותם באמצעות ספריית datasets של Hugging Face ללא צורך באישור גישה מיוחד. המבנה מותאם ישירות למתכון האימון Zephyr של Hugging Face, כך ששדות ה־prompt, ה־chosen וה־rejected מוכנים להזנה ישירה לסקריפטים של DPO. אם תרצו לנתח את הדירוג המלא, השדות all_generated_responses ו־all_rm_scores מכילים את כל המידע הגולמי של חמש התשובות.
from datasets import load_dataset
ds = load_dataset("snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל אימון מודלים לצרכים פנימיים או מוצרי קצה. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי, ללא דרישה לשתף את המודל המאומן תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים