Nectar
קוד פתוחberkeley-nestapache-2.02023-10-06
מאגר שמכיל שבע תשובות שונות לכל פרומפט ומדורג במלואו על ידי GPT-4. פתרון מתאים למי שמאמן מודלי תגמול או מפתח יישור התנהגות מבוסס RLAIF.
- 1,213הורדות בחודש
- 296לייקים
מה זה
המאגר מכיל 182,954 פרומפטים שונים, כאשר לכל אחד מהם מוצמדות שבע תשובות שנאספו ממגוון מקורות ומודלים. התשובות מגיעות ממודלים מובילים כמו GPT-4, גרסאות של GPT-3.5, לצד Llama-2-7B-chat ו־Mistral-7B-Instruct, או ישירות מדאטהסטים קיימים. כל השביעיות הללו דורגו מהטובה ביותר לפחות טובה על ידי שופט מבוסס GPT-4, מה שמייצר בפועל כ־3.8 מיליון השוואות זוגיות.
איסוף הפרומפטים נעשה מתוך שילוב של מאגרים פופולריים, ביניהם ShareGPT, Anthropic HH, UltraFeedback, lmsys-chat-1M, Flan ו־Evol-Instruct. החוקרים סיננו את הבקשות כך שכללו רק פרומפטים מעל 40 תווים שהיו להם לפחות שתי תשובות, וניקו תווים מיוחדים לצורך איחוד כפילויות. בנוסף, הם סיננו פרומפטים שלא כללו אנגלית באחת משלוש השפות המובילות שזוהו בהם.
מתאים ל
- אימון מודל תגמול
שימוש במיליוני ההשוואות הזוגיות כדי לבנות Reward Model ליישור מודלים בשיטות RLHF או DPO.
- סינון תשובות מזיקות
לימוד מודלים לזהות בקשות זדוניות ולסרב להן בנימוס לפי רובריקת הבטיחות שהוגדרה בדירוגים.
- מחקר על שופטי LLM
בחינת איכות הדירוג וההטיות של מודלי שפה גדולים כשופטים מול שבע תשובות ממקורות שונים.
איפה זה נופל
המאגר מוגבל לשפה האנגלית בלבד, ואינו כולל תמיכה ישירה בעברית. כל הדירוגים והתיוגים, כולל שאלת הבטיחות של הבקשה, נשענים באופן עיוור על שיקול הדעת של GPT-4 מתקופת 2023, על כל ההטיות והמגבלות המובנות במודל הזה. בנוסף, המפתחים מזהירים במפורש שהנתונים מכילים שיחות פוגעניות, מטרידות או בלתי בטוחות שנשמרו בכוונה כדי לאמן מודלים להתמודדות עם בקשות כאלה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, המאגר אינו מתאים לשימוש מסחרי. למרות תיוג ה־Apache-2.0, המפרסמים ציינו בפירוש שמדובר בתצוגה מקדימה למחקר בלבד. השימוש כפוף לתנאים של OpenAI, LLaMA ו־ShareGPT, ואסור להתחרות באמצעותם ב־OpenAI.
האם המאגר כולל דאטה בעברית?
לא, המאגר מיועד לאנגלית בלבד. בתהליך העיבוד, החוקרים זיהו את שלוש השפות המובילות בכל פרומפט ופסלו כל רשומה שאנגלית לא נכללה בה. אין להסתמך עליו לאימון מודלים בעברית.
איך נוצר הדירוג של התשובות?
הדירוג נבנה על ידי פנייה ישירה ל־GPT-4 עם רובריקה מוגדרת להערכת מועילות ובטיחות. המודל דירג את שבע התשובות מהטובה ביותר לפחות טובה בכל פרומפט, תוך ניסיונות טכניים לצמצם הטיות מיקום של התשובות בפרומפט השיפוט.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
הנתונים שמורים בקובץ Parquet בתוך תיקיית data במאגר, ללא צורך בהרשאות מיוחדות. כל רשומה כוללת את טקסט השיחה, רשימת שבע התשובות עם שם המודל המייצר והדירוג המספרי שלו, ומספר פניות בשיחה.
איך טוענים
הנתונים יושבים בקובץ rlaif.parquet בתוך המאגר, וזמינים להורדה ישירה ללא צורך באישור גישה או מילוי טפסים מיוחדים. המבנה כולל את הפרומפט המקורי בפורמט שיחה מובנה, מערך של תשובות עם שמות המודלים המייצרים והדירוג שלהם, מקור הרשומה, ומדד בשם good_natured שקובע האם הבקשה סווגה כתמימה או זדונית.
from datasets import load_dataset
ds = load_dataset("berkeley-nest/Nectar")הרישיון
הרישיון הרשמי מוגדר כ־Apache-2.0, אך הכרטיס כולל תנאים מגבילים שמבטלים שימוש מסחרי חופשי. נאסר במפורש שימוש שמתחרה ב־OpenAI, והמאגר מוגדר כתצוגה מחקרית שאינה מיועדת למטרות מסחריות, תוך כפיפות לתנאי השימוש של LLaMA ו־ShareGPT. עבור מוצר מסחרי, המאגר הזה פשוט פסול.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים