social-reasoning-rlhf
קוד פתוחProlificAImit2023-10-10
המאגר מרכז השוואות בין תשובות אנושיות לתרחישים חברתיים מורכבים. הוא מתאים למי שרוצה לאמן מודל להבין כוונות, אמפתיה או נורמות בלי להסתמך רק על טקסטים כלליים מהרשת.
- 117הורדות בחודש
- 53לייקים
מה זה
הנתונים בנויים על שאלות שבודקות איך אנשים חושבים ומגיבים בסיטואציות חברתיות שונות. הנושאים מכסים מנעד רחב, החל מזיהוי כוונות ורגשות, דרך פתרון קונפליקטים, הומור ומוסר, ועד התמודדות עם שוני תרבותי ושפה ציורית. כל רשומה כוללת שאלה, תשובה שנבחרה כטובה יותר, ותשובה שנדחתה בהשוואה ישירה.
איסוף המידע התבצע בשני שלבים מול בני אדם. קבוצה אחת של משתתפים ענתה על השאלות שנאספו, וקבוצה שנייה התבקשה לדרג את התשובות בזוגות. ההנחיות עודדו תגובות מכילות ומכבדות, אבל המפרסמים לא מפרטים בכרטיס כמה משתתפים נדגמו או מאילו מדינות, אלא רק שמדובר בפאנל המשתמשים של פרולפיק.
מתאים ל
- אימון מודל תגמול
התאמת מודל לזיהוי תגובות אמפתיות על בסיס זוגות של העדפה אנושית.
- הערכת שיח חברתי
בדיקת היכולת של בוטים לזהות כוונות, מוסר והומור בשיחות מורכבות.
- כיוונון שיחה רגישה
אימון סוכני תמיכה או שירות לשיפור התקשורת בפתרון קונפליקטים.
איפה זה נופל
כל התוכן מבוסס על אנגלית בלבד, ואין פה ייצוג לשפות אחרות או לתרבות מקומית שאינה דוברת אנגלית. המאגר מכיל פחות מעשרת אלפים דוגמאות, כמות קטנה יחסית שמתאימה בעיקר לכיוונון עדין נקודתי ולא לאימון רחב. למרות שהונחו לכתוב בכבוד, המפרסמים מציינים מפורשות שהנתונים עלולים להכיל תכנים פוגעניים. בנוסף, חסר מידע דמוגרפי על המדרגים, כך שקשה לדעת אילו הטיות חברתיות הוטמעו בבחירות שלהם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הנתונים שוחררו תחת רישיון MIT שמתיר שימוש מסחרי מלא ללא הגבלה. אפשר להשתמש בהם כדי לאמן מודלים שיימכרו ללקוחות או ישולבו במוצר סגור. כל מה שנדרש זה לצרף את תנאי הרישיון המקוריים אם מפיצים את הקבצים עצמם.
האם יש בדאטהסט תוכן בעברית?
לא, המאגר מתועד כולו באנגלית בלבד. התרחישים, השאלות והתשובות נאספו ממשתתפים דוברי אנגלית ומשקפים הקשרים תרבותיים מערביים. אם המטרה היא התאמה לעברית, תצטרכו לתרגם את הנתונים או להשתמש בו רק כמקור השראה למבנה.
איך המידע נאסף בפועל?
חברת פרולפיק הפעילה קבוצת נבדקים אנושית שענתה על סדרת שאלות בנושאי היגיון חברתי ואינטליגנציה רגשית. לאחר מכן, קבוצת משתתפים נפרדת בחנה את התשובות והצביעה על התגובה הטובה יותר בכל זוג. התהליך יצר פורמט השוואתי שמותאם ישירות ללמידת חיזוק ממשוב אנושי.
מה הגודל של המאגר?
מדובר במאגר קטן יחסית שמכיל בין אלף לעשרת אלפים רשומות בלבד. הוא מאוחסן בקובץ דחוס יחיד לצד תיעוד, כך שהורדתו מיידית ואינה דורשת משאבי אחסון מיוחדים. הגודל הזה מתאים בעיקר להערכה או כיוונון ממוקד, ולא לאימון מסיבי של מודל בסיס.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של פייתון בפקודה פשוטה, ללא צורך באישור גישה מראש. הקבצים שמורים בפורמט jsonl דחוס, כאשר הקובץ המרכזי הוא train.jsonl.gz לצד קובץ התיעוד.
אין כאן פיצול מובנה למבחן או אימות, כך שצריך לחלק אותו לבד. המבנה כולל שלושה שדות טקסט בלבד: question לשאלה, chosen לתשובה המועדפת, ו־rejected לתשובה שנדחתה. ההיקף עומד על כמה אלפי רשומות בודדות, כך שהורדה וטעינה לוקחות שניות ספורות ולא דורשות חומרה כבדה.
from datasets import load_dataset
ds = load_dataset("ProlificAI/social-reasoning-rlhf")הרישיון
הרישיון הוא MIT, מה שאומר שמותר להשתמש במידע באופן חופשי לחלוטין. אפשר לשלב אותו בפרויקטים מסחריים, לשנות את הנתונים, ולאמן עליו מודלים פנימיים או פתוחים. אין דרישה לשתף את התוצרים באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים של המקור בעת הפצת הקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש