preference-test-sets
קוד פתוחallenaiodc-by2024-01-04
ריכוז של סטי בדיקה ממאגרי העדפות מובילים תחת מבנה נתונים אחיד. הוא פותר את הצורך לנקות ולהתאים ידנית סטים שונים כשרוצים לבדוק ביצועים של מודל תגמול.
- 3,300הורדות בחודש
- 28לייקים
מה זה
המאגר מאגד מבחני בדיקה מתוך כמה מקורות מוכרים: Anthropic HH עם 8,552 דגימות, Anthropic HHH מתוך Big Bench, נתוני סיכום של OpenAI שנדגמו מחדש ל־9,000 רשומות, PKU SafeRLHF שחולק לגרסאות בטוחות וטובות יותר ונדגם גם הוא ל־9,000, דגימות מתוך SHP לפי יחס הצבעות ברדיט, וצמדי שיחות מ־MT Bench עם שיפוט אנושי ושיפוט של GPT4 כדי לבדוק הטיות.
כל הרשומות מיושרות לאותו מבנה קבוע שמכיל prompt כרשימת הודעות, תשובה מועדפת (chosen), תשובה נחותה (rejected), ושדה subset לחלוקות פנימיות כמו קטגוריות או תתי-פורומים. בחלק מהמקורות מדובר בשיחות מרובות תורות כמו ב־Anthropic HH וב־MT Bench, ובאחרים מדובר בהוראה ותגובה בודדת.
מתאים ל
- הערכת מודלי תגמול
בדיקת הדיוק של מודל תגמול מול העדפות אנושיות במבנה נתונים אחיד.
- מדידת הטיית שיפוט
השוואת ביצועים מול צמדי MT Bench כדי לבדוק אם המודל נוטה להעדיף סגנון של GPT4.
- בדיקת בטיחות והיצמדות
בחינת תגובות לתכנים בעייתיים באמצעות הדגימות של Anthropic ו־PKU SafeRLHF.
איפה זה נופל
כל הנתונים באנגלית בלבד, כך שאין כאן שום יכולת לבדוק העדפות בעברית. חלק מהדאטהסטים עברו דילול כמו הדגימות מרדיט או הסיכומים של OpenAI, מה שאומר שלא מקבלים את המבחן המלא המקורי אלא גרסה חלקית. בנוסף, הנתונים מבוססים על שיפוטים שנאספו בעבר וכוללים הטיות מובנות של מודלים כמו GPT4 ושל משתמשי רדיט. אסור לאמן על המאגר הזה, הוא מיועד למדידה בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר באופן מסחרי?
הרישיון הכללי הוא ODC-By, שדורש ייחוס בלבד. יחד עם זאת, היוצרים מדגישים שחובה לציית לרישיונות המקוריים של כל חלק בנפרד, כמו Anthropic או OpenAI. מעבר לכך, זהו סט בדיקה שמיועד למדידה ולא משהו שמאמנים עליו מוצר.
האם יש כאן נתונים בעברית?
לא, המאגר כולו באנגלית. הוא מבוסס על סטים מוכרים כמו SHP, Anthropic ו־MT Bench שנאספו ונבדקו בשפה הזו בלבד. כדי לבדוק מודל בעברית תצטרכו לתרגם את השאלות או לייצר סט בדיקה מקומי.
איך הדאטהסט הזה נאסף בפועל?
החוקרים ב־AllenAI לקחו סטי מבחן מתוך מאגרי העדפות קיימים ואיחדו אותם. חלק מהמקורות עברו דילול לכמות קטנה יותר, כמו הנתונים של OpenAI שצומצמו ל־9,000 דגימות. התוצאה הסופית הומרה לפורמט אחיד של שאלות, תשובה נבחרת ותשובה דחויה.
מה ההבדל בין המאגר הזה למאגרי העדפות רגילים?
רוב מאגרי ההעדפות מיועדים לאימון ולא כוללים חלוקה ברורה לסט בדיקה מבודד. כאן ריכזו אך ורק את סטי המבחן כדי לאפשר בדיקת ביצועים אמינה. בנוסף, המבנה האחיד חוסך כתיבת קוד התאמה נפרד לכל מאגר.
איך טוענים
טוענים את הנתונים ישירות בספריית datasets עם הפקודה load_dataset("allenai/preference-test-sets"). המאגר פתוח לציבור ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט parquet, והשדות שמעניינים אתכם בזמן הרצת הערכה הם prompt מול chosen ו־rejected. הקוד שמייצר את הכל זמין בקובץ build_dataset.ipynb בתוך המאגר עצמו.
from datasets import load_dataset
ds = load_dataset("allenai/preference-test-sets")הרישיון
המאגר מופץ תחת רישיון ODC-By שדורש מתן קרדיט מתאים. עם זאת, היוצרים מציינים במפורש שהשימוש כפוף גם לרישיונות של מקורות המידע המקוריים שמרכיבים אותו. מדובר בסט בדיקה בלבד, כך שאימון מודל עליו יזהם את תוצאות ההערכה שלכם וממילא אינו מומלץ.