Preference-Collection
קוד פתוחprometheus-evalcc-by-4.02024-01-29
המאגר כולל זוגות תשובות עם משוב מפורט ומיועד למי שרוצה לאמן מודל שיידע להעריך ולהשוות איכות של טקסטים ארוכים במקום להסתמך על שירותים קנייניים.
- 363הורדות בחודש
- 40לייקים
מה זה
כל רשומה בנויה סביב משימת הערכה והשוואה. המבנה כולל הוראה מקורית, שתי תשובות שונות המסומנות בתור תגובה A ותגובה B, תשובת ייחוס, ומחוון ציון שמגדיר את הקריטריונים המדויקים לבדיקה. הפלט של כל דוגמה מורכב ממשוב מנומק שנכתב בהתאם למחוון והכרעה ברורה מי מבין שתי התשובות טובה יותר.
המשובים וההכרעות מבוססים על מידע שנוצר באמצעות GPT-4 במטרה ללמד מודלי קוד פתוח לשפוט איכות של טקסט מורכב. המאגר מכיל 199,760 דוגמאות אימון בחלוקה אחת, וכולל 1K מחווני ציון, 20K הוראות ותשובות ייחוס, וכן 200K זוגות תשובות ומשובים שמחולקים שווה בשווה בין שתי האפשרויות.
מתאים ל
- אימון מודל שופט
לימוד מודלים קטנים להשוות בין שתי תשובות ולהכריע מי טובה יותר לפי קריטריונים מוגדרים.
- יצירת משוב מנומק
אימון מודל שמסוגל לכתוב נימוק מפורט לאיכות הטקסט בהתבסס על תשובת ייחוס ומחוון.
- אימון להעדפות אנושיות
שימוש בזוגות התשובות וההכרעות לצורך כוונון מודלי שפה בשיטות דירוג והעדפה.
איפה זה נופל
הנתונים מבוססים על אנגלית בלבד, כך שאין כאן שום מענה למי שבונה הערכה בעברית. המשובים מגיעים כולם מתפוקות סינתטיות של GPT-4, מה שאומר שהמודל שמתאמן עליהם עלול לשכפל הטיות מובנות והעדפות סגנוניות של המודל המקורי. בנוסף, הכרטיס לא מפרט תהליך סינון ידני של בני אדם על התוצאות.
שאלות
נפוצות
האם מותר להשתמש במאגר לצרכים מסחריים?
כן, הרישיון המדווח הוא cc-by-4.0 שמתיר שימוש מסחרי מלא. יש להקפיד על מתן קרדיט וייחוס למחברים כפי שמופיע בתיעוד.
האם המאגר כולל דוגמאות בשפה העברית?
לא. המאגר כולל אך ורק נתונים בשפה האנגלית, ולא מתאים לאימון מודלי שיפוט בעברית ללא תרגום או התאמה.
איך נאספו ונוצרו הנתונים?
החוקרים השתמשו בתוצרי משוב והערכות שנוצרו על ידי GPT-4 עבור זוגות תשובות. המידע נבנה סביב מחווני הערכה קבועים ותשובות ייחוס שהוגדרו מראש.
איך טוענים
הנתונים מחולקים לשישה קובצי Parquet שונים בתוך תיקיית המידע ומכילים יחד 199,760 שורות. אין צורך באישור גישה או בהרשמה מיוחדת כדי להוריד אותם ישירות מהמאגר. השדות העיקריים שצריך לשים אליהם לב בזמן הטעינה הם שדות ההוראה המעובדים, חומרי הייחוס, והשדה שמכיל את המשוב ואת התוצאה הסופית שמופרדת באמצעות התג המוגדר.
from datasets import load_dataset
ds = load_dataset("prometheus-eval/Preference-Collection")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב שיתוף של מודלים מאומנים תחת אותו רישיון בדיוק. הדרישה המרכזית היא מתן קרדיט וייחוס מתאים ליוצרים המקוריים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס