ultrafeedback-binarized-preferences-cleaned
קוד פתוחargillamit2023-12-05
המאגר מרכז זוגות העדפה בינאריים שעברו סינון קפדני לזיהום מבחנים. מי שמכוונן מודל בשיטות העדפה מקבל כאן גרסה מתוקנת של UltraFeedback שמתאימה ישירות לספריות אימון מודרניות.
- 22,298הורדות בחודש
- 163לייקים
מה זה
הנתונים מבוססים במקור על UltraFeedback של OpenBMB, פרויקט שבו נאספו תשובות ממגוון מודלי שפה והוערכו על בסיס קריטריונים שונים. ארגילה לקחו את הנתונים הגולמיים והמירו אותם למבנה בינארי של תשובה מועדפת מול תשובה דחויה. במקום להסתמך רק על הציון הכללי של הביקורת, הבחירה בין התשובות התבססה על ממוצע דירוגי ההעדפה השונים שניתנו לכל פלט.
הסיבה העיקרית לקיומה של הגרסה הזו היא ניקוי זיהומים שהתגלו בעבר על ידי AllenAI. פרומפטים שמקורם בבנצ'מרק TruthfulQA שמשמש לבדיקת מודלים בלוח התוצאות הפומבי הוסרו לחלוטין. הניקוי לא עצר רק ברשומות שסומנו במפורש כמקור כזה, אלא כלל הצלבה והסרה גם מתוך רשומות שהגיעו דרך ShareGPT. בנוסף, המבנה הותאם לסטנדרט המקובל כדי לאפשר עבודה ישירה מול כלים כמו alignment-handbook.
מתאים ל
- אימון מודלים בשיטת DPO
התאמת משקלי המודל להעדפות משתמש באמצעות השוואה ישירה בין זוגות תשובות.
- אימון מודל תגמול למשוב
לימוד מודל נפרד שמדרג איכות טקסט עבור תהליכי RLHF מורכבים יותר.
- הערכת ביצועי מודלי שפה
בדיקת יכולת המודל לייצר תשובה טובה יותר מזו שנפסלה לאותו הפרומפט.
איפה זה נופל
כל הנתונים במאגר הם באנגלית בלבד, כך שהוא לא יעזור ישירות למי שמאמן מודלים בעברית או מחפש התאמה לשונית מקומית. בנוסף, הבחירה בין התשובות נקבעה על פי מודלים שופטים וממוצעי ציונים אוטומטיים, מה שמשאיר הטיות מובנות של מודלי הבסיס שדירגו אותן. הניקוי התמקד בהסרת פרומפטים של TruthfulQA, אבל המאגר לא מתיימר לפתור בעיות רעילות או עובדתיות אחרות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מודל מסחרי?
כן, המאגר פורסם תחת רישיון MIT המתיר שימוש מסחרי חופשי לחלוטין. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים המקורית של ארגילה. עם זאת, רצוי לזכור שהטקסטים נוצרו על ידי מודלים שונים בעלי תנאי שימוש משלהם.
האם הדאטהסט כולל תמיכה בשפה העברית?
לא, המאגר מוגדר ומכיל טקסטים באנגלית בלבד. מי שבונה מוצר המיועד לעברית יצטרך לתרגם את הנתונים בעצמו או לאסוף העדפות מקומיות. אימון ישיר עליו עשוי לשפר יכולות היסק כלליות, אך לא שפה מקומית.
מה ההבדל בין הגרסה הזו לגרסאות UltraFeedback אחרות?
גרסה זו מסירה באופן יזום שאלות שמקורן ב־TruthfulQA, כולל כאלה שהסתננו מתוך ShareGPT, כדי למנוע זיהום של מבחני ביצועים. בנוסף, ההכרעה איזה פלט עדיף התקבלה לפי ממוצע דירוגי האיכות ולא לפי ציון הביקורת הבודד. המבנה הותאם לחלוטין לשימוש עם ערכת הכלים של alignment-handbook.
איך טוענים
טוענים את המאגר ישירות בעזרת פקודת load_dataset הרגילה של Hugging Face תחת הנתיב argilla/ultrafeedback-binarized-preferences-cleaned. המאגר פתוח לציבור, לא דורש אישור גישה מוקדם או מפתח מיוחד, ומכיל קובץ Parquet בודד לצד מחברת שחזור. הנתונים מחולקים לעמודות המייצגות את הפרומפט, התשובה שנבחרה והתשובה שנדחתה.
from datasets import load_dataset
ds = load_dataset("argilla/ultrafeedback-binarized-preferences-cleaned")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מאפשר שימוש מסחרי, שינוי, הפצה ושילוב במודלים סגורים בלי חובה לשתף את הקוד הנגזר, כל עוד שומרים על הודעת זכויות היוצרים המקורית. המפרסמים מבקשים לצטט את המאמר המקורי ואת פרויקט Notus.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש