HelpSteer2

מה זה

במאגר יש 21,362 רשומות, כאשר כל רשומה כוללת פרומפט, תשובה של מודל וחמישה ציונים מספריים מ־0 עד 4: מועילות, נכונות עובדתית, לכידות, מורכבות ואריכות. צמדי רשומות עוקבות חולקות את אותו הפרומפט כדי לאפשר אימון על העדפות. בערך 29% מהשיחות מכילות מספר פניות, והציון ניתן תמיד רק לתשובה האחרונה של העוזר.

מקור הפרומפטים הוא בעיקר מתוך ShareGPT, לצד כ־5% שנכתבו ידנית על ידי עובדי Scale AI. התשובות הופקו מעשרה מודלי שפה פנימיים שונים של אנבידיה בגרסאות מוקדמות, ללא מודלים מסחריים סגורים כמו אלה של OpenAI.

התיוג בוצע על ידי כאלף מתייגים אנושיים מארצות הברית דרך Scale AI. כל דוגמה דורגה על ידי שלושה עד חמישה מתייגים, כאשר הציון הסופי חושב כממוצע של השלושה שהסכימו ביניהם הכי הרבה, אחרי סינון חריגים ובקרת איכות קפדנית. המאגר כולל חלוקת בסיס לאימון ואימות, לצד תיקיות ייעודיות להעדפות ישירות בין זוגות ולנתוני אי-ההסכמה הגולמיים בין המתייגים.

מתאים ל

• אימון מודלי תגמול

  בניית Reward Model שמדרג תשובות לפי נכונות ומועילות עבור תהליכי RLHF.

• יישור ישיר ב־DPO

  שימוש בצמדי התשובות מתת-המאגר preference כדי לכוונן מודל בלי מודל תגמול נפרד.

• שליטה באורך התשובה

  אימון המערכת להתאים את רמת הפירוט והמורכבות בעזרת ציוני ה־verbosity המצורפים.

• מחקר על פערי תיוג

  ניתוח קובץ ה־disagreements כדי לחקור מחלוקות אנושיות בהערכת בינה מלאכותית.

איפה זה נופל

המאגר כולו באנגלית בלבד. אם אתם בונים מערכת שמיועדת לעברית, הנתונים האלה לא יעזרו ישירות ליישור לשוני מקומי בלי תרגום או התאמה. בנוסף, כל המתייגים ישבו בארצות הברית, עובדה שמכניסה הטיה תרבותית מערבית ברורה להגדרות של מועילות ונימוס.

במבחני Benchmark מול נתונים שבהם GPT-4 קבע את הציון הנכון, המודלים שאומנו על המאגר הזה קיבלו ציונים נמוכים משמעותית בהשוואה למודלים שנחשפו למידע סינתטי. המאגר משקף העדפה אנושית מובהקת ולא בהכרח מיישר קו עם הסגנון ש־OpenAI הגדירה כסטנדרט.

איך טוענים

טוענים את המאגר ישירות דרך הספרייה של Hugging Face בלי צורך באישור גישה מראש. קובצי הבסיס מכילים 20,324 דוגמאות באימון ו־1,038 באימות, דחוסים בפורמט jsonl.gz, כך שההורדה קלה ומהירה מאוד. אם רוצים להשתמש בהשוואות ישירות לצורך DPO או מודל בראדלי-טרי, מושכים את תת-המאגר preference דרך שדה data_dir. בפרומפטים מרובי תורות יש להקפיד על הפיצול, כיוון שההקשר כולל את התורות הקודמים מופרדים במחרוזות ייעודיות, והציונים מתייחסים רק לשדה התגובה.

from datasets import load_dataset

ds = load_dataset("nvidia/HelpSteer2")

הרישיון

הרישיון הוא CC-BY-4.0. מותר להשתמש בנתונים לכל מטרה, כולל מסחרית מלאה, לשנות אותם ולשלב אותם במודלים סגורים, כל עוד נותנים קרדיט מתאים ליוצרים. אין חובה לשתף את המודל המאומן או את הנגזרות באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗