gemma2-ultrafeedback-armorm
קוד פתוחprinceton-nlpmit2024-07-16
מאגר העדפות מבוסס פרומפטים של UltraFeedback שנבנה במיוחד לכוונון דגמי גמא 2. הוא כולל תשובות שנוצרו במודל 9B וסווגו על ידי מודל תגמול חיצוני לצורך אימוני יישור והעדפה.
- 413הורדות בחודש
- 45לייקים
מה זה
המאגר מיועד לאימון מודלי העדפה והתאמה, במקור עבור פיתוח gemma-2-9b-it-SimPO על ידי חוקרים מאוניברסיטת פרינסטון. החוקרים לקחו את הפרומפטים הקיימים מתוך UltraFeedback המקורי, ועבור כל פרומפט יצרו חמש תשובות שונות באמצעות המודל google/gemma-2-9b-it עם טמפרטורה של 0.8. במידה וכל חמש התשובות שיצאו היו זהות לחלוטין, הפרומפט נזרק מהמאגר.
לאחר שלב הסינון, כל התשובות שנוצרו נשלחו לניקוד במודל התגמול ArmoRM-Llama3-8B-v0.1. התשובה שקיבלה את הציון הגבוה ביותר הוגדרה כהתשובה הנבחרת, והתשובה עם הציון הנמוך ביותר סומנה כזו שנדחתה. התוצאה היא מאגר העדפה בינארי של זוגות טובים ורעים.
מבחינת חלוקה, המאגר תואם את הפיצול המקורי של UltraFeedback binarized ומכיל כשישים אלף רשומות בחלק האימון ועוד כשני אלפים רשומות בחלק הבדיקה, כולם שמורים כקבצי פרקט מוכנים לעבודה.
מתאים ל
- אימון SimPO על גמא
כוונון ישיר של מודלי שפה מסדרת גמא 2 לשיפור דירוג התשובות ללא מודל ייחוס.
- אימון אלגוריתמי DPO
שימוש בזוגות התשובות הנבחרות והנדחות כדי ליישר מודלי שיחה בקוד פתוח.
- בחינת מודלי תגמול
בדיקת איכות הדירוג של מודלי הערכה מול ציונים שהופקו על ידי ArmoRM.
איפה זה נופל
כל התוכן במאגר הוא סינתטי לחלוטין, מהתשובות ועד לציוני ההעדפה. אין כאן שום בדיקה אנושית אמיתית, אלא מודל שפה שמייצר ומודל תגמול שמחליט מה טוב. אם מודל התגמול סובל מהטיות או חוסר דיוק בתחומים מסוימים, ההטיות האלו נכנסו ישירות לתוך התיוג. בנוסף, המקור מבוסס על אנגלית בלבד ולכן אין כאן כיסוי לשפות אחרות או התאמה לעברית. אם המטרה שלכם היא מודל שיחה בעברית, המאגר הזה פשוט לא רלוונטי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
רישיון המאגר המוגדר הוא MIT, שמתיר שימוש מסחרי חופשי. יחד עם זאת, התשובות נוצרו על ידי מודל גמא 2 והדירוג בוצע על ידי מודל שמבוסס על למה 3. יש לבדוק שתנאי השימוש של אותם מודלים מסחריים אינם מתנגשים עם השימוש המיועד שלכם.
האם יש במאגר טקסטים בעברית?
לא, המאגר בנוי על גבי פרומפטים שמקורם בקהילה דוברת האנגלית של UltraFeedback. כל הדוגמאות והתשובות שנוצרו הן באנגלית בלבד. לא כדאי להשתמש בו לאימון מודלים שמיועדים לתמיכה ישירה בשפה העברית.
מה ההבדל בינו לבין UltraFeedback המקורי?
בעוד המקור מכיל תשובות ממגוון מודלים ודירוגים שונים, כאן התשובות הופקו ספציפית על ידי google/gemma-2-9b-it. בנוסף, הבחירה בין התשובה הטובה לגרועה נעשתה באופן אוטומטי על ידי מודל התגמול ArmoRM ולא על בסיס מודלים מרובים אחרים.
כמה דוגמאות יש בכל חלק של המאגר?
המאגר כולל פיצול מסודר של כשישים אלף דוגמאות אימון וכאלפיים דוגמאות בדיקה. החלוקה הזו משמרת את המבנה של המאגר עליו הוא התבסס ומקלה על השוואת ביצועים מול גרסאות קודמות.
איך טוענים
המאגר שמור בפורמט פרקט מחולק לשני קבצי אימון וקובץ בדיקה אחד, ללא צורך בבקשת גישה מיוחדת או אישור מראש. אפשר לטעון אותו ישירות דרך ספריית הדאטהסטס הרגילה באמצעות המזהה של פרינסטון. הרשומות כוללות את הפרומפט, רשימת כל התשובות שנוצרו, וכן את השדות של התשובה שנבחרה והתשובה שנדחתה יחד עם ציוני מודל התגמול. מאחר והקבצים מוכנים ומעובדים מראש, הטעינה קלה מאוד ולא דורשת משאבי זיכרון חריגים בזמן משיכת הנתונים.
from datasets import load_dataset
ds = load_dataset("princeton-nlp/gemma2-ultrafeedback-armorm")הרישיון
המאגר שוחרר תחת רישיון MIT, מה שנותן חופש כמעט מוחלט לשימוש מסחרי, מחקרי, שינוי והפצה מחדש, בכפוף לשמירת הודעת זכויות היוצרים המקורית. חשוב לקחת בחשבון שהטקסטים נוצרו על ידי גמא 2 של גוגל וסווגו על ידי מודל שמבוסס על למה 3, כך שחלים עליהם גם תנאי השימוש והמגבלות של מודלי הבסיס האלה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש