prosocial-dialog

מה זה

המאגר מכיל 58K דיאלוגים הכוללים 331K היגדים, שנבנו בשיתוף פעולה בין בינה מלאכותית לבני אדם. הרקע נוצר כדי לעקוף את המחסור בשיחות פרו חברתיות טבעיות וכדי לא לדרוש מבודקים אנושיים לכתוב בעצמם טקסטים פוגעניים. מודל GPT-3 ייצר את האמירות הבעייתיות, בעוד שמתייגים אנושיים כתבו את התגובות המנחות.

כל רשומה כוללת את ההקשר הבעייתי, תגובה מונחית, תיוג רמת סיכון מתוך חמש דרגות חומרה, ונימוקים חופשיים של שלושה מתייגים. בנוסף מופיעים כללי אצבע התנהגותיים, מזהי שיחה, ומקור הטקסט ההתחלתי שנלקח ממאגרים כמו socialchemistry, sbic, ethics_amt או ethics_reddit.

הנתונים מחולקים מראש לקבצי train.json, valid.json ו test.json, מה שמאפשר לבדוק מודלים ישירות על חלוקה מוגדרת בלי צורך בפיצול ידני.

מתאים ל

• אימון בוטים ממתנים

  לימוד סוכני שיחה כיצד לענות בצורה בטוחה ומרגיעה מול משתמש שמביע תוכן רעיל או בעייתי.

• סיווג רמת סיכון בטקסט

  זיהוי היגדים מסוכנים וחלוקתם לחמש דרגות חומרה לפי תיוגי הבטיחות והנימוקים בנתונים.

• חילוץ כללי התנהגות חברתית

  אימון מודלים לניסוח חוקי אצבע מוסריים ונורמטיביים בהתבסס על מצבים בעייתיים בשיחה.

איפה זה נופל

הנתונים כולם באנגלית, כך שהם לא רלוונטיים ישירות לשיחות בעברית בלי התאמות ותרגום. בנוסף, כל הטקסטים הבעייתיים יוצרו על ידי GPT-3 ולא נלקחו משיחות אמת של משתמשים, מה שעלול לייצר דפוסים סינתטיים שלא משקפים במדויק רעילות אותנטית ברשת. הנורמות החברתיות והנימוקים מייצגים את התפיסה של המתייגים שנבדקו ושל מקורות הזרעים הספציפיים שנבחרו בשנת 2022.

איך טוענים

טוענים את הקבצים ישירות מספריות פייתון או מקבצי ה JSON שבמאגר ללא צורך באישור גישה מיוחד. המאגר פתוח לחלוטין להורדה. בזמן העיבוד, השדות המרכזיים לעבודה הם context ו response לבניית שיחה, לצד safety_label שמגדיר את רמת הסיכון ו rots שמכיל את נורמות ההתנהגות.

from datasets import load_dataset

ds = load_dataset("allenai/prosocial-dialog")

הרישיון

המאגר מופץ תחת רישיון cc-by-4.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, בתנאי שנותנים קרדיט מתאים ליוצרים ומציינים אם בוצעו שינויים. אין חובה לשתף נגזרות תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗