prism-alignment
קוד פתוחHannahRoseKirkcc2024-04-22
מאגר משוב אנושי רב-תרבותי שמחבר בין פרופיל דמוגרפי של 1,500 משיבים לדירוגים חיים מול 21 מודלי שפה שונים. הוא מתאים למי שרוצה לאמן או לחקור התאמת העדפות סובייקטיבית ולא מונוליטית.
- 1,802הורדות בחודש
- 104לייקים
מה זה
המאגר מכיל 8,011 עצי שיחה הכוללים 68,371 היגדים מדורגים שנאספו מ־1,396 משתתפים פעילים, מתוך 1,500 שנבדקו בסקר מקיף. המשתתפים נולדו ב־75 מדינות והתגוררו ב־38 מדינות. הנתונים מחולקים למספר קובצי jsonl מרכזיים: סקר המשתתפים שכולל דמוגרפיה והעדפות מוצהרות, קובץ שיחות מלא במבנה רב-שלבי, וגרסה מפורקת ברמת ההיגד הבודד המיועדת להערכה נוחה. בנוסף קיים קובץ מטא-דאטה עם זיהוי שפה, ניטור בטיחות וסינון מידע מזהה.
בפועל, כל שיחה נפתחה בבחירת אופי האינטראקציה מתוך שלושה מסלולים: חופשי, מונחה ערכים או מונחה מחלוקת. בתור הראשון המשתמש קיבל תשובות מארבעה מודלים שונים שנבחרו באקראי מתוך מאגר של 21 מודלים, פתוחים ומסחריים, ודירג אותן בסולם של 1 עד 100. השיחה המשיכה בין 2 ל־22 תורות מול המודל שקיבל את הציון הגבוה ביותר, כאשר בכל תור נוסף הוא ייצר שתי תשובות חלופיות להשוואה. בסיום נאסף משוב פתוח ומפורט על הבחירות.
מתאים ל
- אימון מודלי תגמול מותאמים
כיול מודלי העדפות לפי מאפיינים תרבותיים ואישיים על בסיס 68,371 היגדים מדורגים.
- הערכת ביצועי מודלים שונים
בדיקת איכות והשוואה של 21 מודלי שפה מסחריים ופתוחים באותם תנאי שיחה מרובי שלבים.
- מחקר על סובייקטיביות בהעדפות
ניתוח הפערים בין מה שמשתמשים מצהירים בסקרים לבין האופן שבו הם מדרגים תשובות בפועל.
איפה זה נופל
99 אחוז מהטקסט במאגר הוא באנגלית, כך שהוא לא יעזור לאימון ישיר בעברית. הנתונים כוללים שיחות גולמיות על נושאים שנויים במחלוקת ועלולים להכיל תוכן פוגעני או לא בטוח, כך שחובה להפעיל סינון ומודרציה לפני שמזינים אותם לתהליך אימון. המשתתפים אמנם מייצגים 75 מדינות לידה, אך תנאי הניסוי והעבודה דרך פלטפורמות כותבים הגבילו את השפה בפועל לשפה האנגלית בלבד. בנוסף, חל איסור מפורש לנסות לבצע דה-אנונימיזציה או לזהות את המשתתפים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. תגובות המודלים מופצות תחת רישיון CC-BY-NC-4.0 שמיועד למחקר ולחינוך בלבד. מעבר לכך, המאגר כולל פלטים ממודלים של חברות שונות, וחובה לציית למגבלות השימוש המסחרי של כל ספק מקור שהשתתף בניסוי.
האם יש במאגר נתונים בעברית?
כמעט ולא. 99 אחוז מהמאגר נאסף באנגלית בעקבות דרישות הניסוי והמשימות שהוגדרו למשתתפים. למרות שהמשתתפים הגיעו מעשרות מדינות שונות, השיחות והדירוגים נעשו באנגלית בלבד.
במה הוא שונה ממאגרי העדפות רגילים כמו lmsys?
ההבדל המרכזי הוא הקישור לפרופיל האנושי. כאן כל שיחה ודירוג מקושרים לשאלון דמוגרפי רחב ולהעדפות מוצהרות של המשתתף, מה שמאפשר לבדוק התאמת מודלים לאוכלוסיות שונות ולא לקונצנזוס אחיד.
איך המאגר מאורגן ואיך מוצאים בו ידיים ורגליים?
הנתונים מחולקים למספר קובצי jsonl עם מזהים מקשרים. קובץ survey מכיל את נתוני המשתמשים לפי user_id, קובץ conversations מרכז את השיחות המלאות, וקובץ utterances מפרק את הדירוגים לרמת ההיגד הבודד.
איך טוענים
הנתונים מגיעים בקובצי jsonl ישירים במאגר פתוח ללא צורך באישור גישה מראש. אפשר לעבוד עם conversations.jsonl שמחזיק את היסטוריית השיחה המלאה במבנה מילונים שמזכיר ממשקי צ'אט סטנדרטיים, או בפורמט הארוך ב־utterances.jsonl שמצמיד קלט, תגובת מודל וציון מספרי יחיד לכל שורה. החיבור לפרופיל המשתמש מתבצע ישירות דרך מזהה המשתמש user_id מול survey.jsonl.
from datasets import load_dataset
ds = load_dataset("HannahRoseKirk/prism-alignment")הרישיון
הרישיון כאן מפוצל ולא מאפשר שימוש מסחרי חופשי. הטקסטים שנכתבו על ידי בני אדם מוגדרים תחת CC-BY-4.0, אבל תגובות המודלים מוגנות תחת CC-BY-NC-4.0 שמגביל את השימוש למחקר בלבד. נוסף על כך, התגובות הופקו מ־21 מודלים מסחריים ופתוחים, וחובה לציית לתנאי השימוש של כל ספק מקור. מודל שיאומן על הדאטהסט הזה מוגבל למטרות מחקריות וחינוכיות, ולא מתאים למוצר מסחרי סגור.