multipref

מה זה

הפרומפטים לוקטו מחמישה מקורות מוכרים: Anthropic Helpful, ChatArena, ShareGPT, Anthropic Harmless וגם WildChat. עבור כל פרומפט נדגמו שתי תשובות מתוך שישה מודלים שונים, בהם Tulu 2, Llama 2 וגרסאות GPT שונות, מה שהניב עשרים ואחת קומבינציות השוואה אפשריות.

כל רשומה קיבלה ארבעה תיוגים נפרדים: שניים מעובדים כלליים ושניים ממומחים אקדמיים בתחום השאלה. הבודקים לא הסתפקו רק בבחירה כללית, אלא דירגו שלושה היבטים ספציפיים שהם מועילות, כנות ובטיחות, ופירטו את הסיבות להעדפה בסולם ליקרט של חמש דרגות.

במאגר תמצאו את התצורה המלאה שמחזיקה את כל התיוגים וההסברים הגולמיים, לצד תצורות בינאריות מעובדות. אחת מהן מרכזת הכרעת רוב אנושית עם סימון למקרים של שוויון, ואחרת מכילה דירוג של GPT 4 שהופק תחת אותן הנחיות עבודה בדיוק.

מתאים ל

• אימון מודלי תגמול

  לימוד מודל תגמול שמפריד בין מועילות, כנות ובטיחות על בסיס ציונים רב ממדיים.

• חקר איכות תיוג

  בדיקת הפערים וההסכמות בין קהל עובדים רגיל לבין בעלי תארים מתקדמים.

• ניתוב שאילתות

  פיתוח מערכות שמחליטות מתי להעביר בדיקה לבודק אנושי ומתי להסתמך על AI.

איפה זה נופל

הנתונים כולם באנגלית בלבד, ואין כאן ייצוג לשפות אחרות או לעברית. בנוסף, חלוקת המומחים התבססה על סיווג פרומפטים שבוצע בידי GPT 4, מה שעלול לייצר שגיאות ניתוב לתחום הדעת הלא נכון. כדאי לזכור שהמודלים שייצרו את התשובות מייצגים את חלון הזמן של אמצע 2024, כך שחלק מהתשובות עשויות לשקף יכולות של מודלים ישנים יותר.

איך טוענים

טוענים את הנתונים דרך ספריית datasets באמצעות Hugging Face. המאגר זמין בפורמט Parquet וגם בקובצי JSONL, כשהגישה חופשית ואינה דורשת אישור ידני מוקדם. ברשומות חשוב לשים לב לשדות של normal_worker_annotations ושל expert_worker_annotations, שמכילים את רשימות המילונים המלאות עם נימוקי הבודקים וזמני העבודה.

from datasets import load_dataset

ds = load_dataset("allenai/multipref")

הרישיון

הרישיון הוא ODC-By. מותר להשתמש בנתונים למטרות מחקר וגם לפעילות מסחרית, לשתף ולשנות אותם, בתנאי שנותנים קרדיט מלא למחברים המקוריים לפי ההנחיות. הרישיון אינו כופה שיתוף באותם תנאים, מה שמאפשר שימוש יחסית גמיש בבניית מוצרים.

הרישיון המלא ב־Hugging Face ↗