BeaverTails

מה זה

המאגר מורכב מזוגות של שאלות ותשובות באנגלית, שסומנו על ידי מתייגים אנושיים לפי 14 סוגי פגיעה שונים. בין הקטגוריות תמצאו פגיעה בבעלי חיים, תוכן מיני בוטה, הסתה לאלימות, דברי שטנה, הפרת פרטיות, פגיעה עצמית, טרור ומידע כוזב. זוג בודד של שאלה ותשובה יכול להשתייך ליותר מקטגוריה אחת בו זמנית.

הקבצים מחולקים לסדרות נתונים תחת תיקיית round0, כולל גרסאות של 30k ושל 330k, שכל אחת מהן מפוצלת לסט אימון וסט בדיקה. כל הנתונים מיועדים למשימת סיווג טקסט כדי לזהות תוכן רעיל או מסוכן.

מתאים ל

• אימון מסווג תוכן מזיק

  זיהוי וסינון טקסטים מסוכנים לפי 14 קטגוריות פגיעה שונות.

• בדיקת חסינות מודלים

  הרצת סט הבדיקה כדי למדוד האם מודל קיים מזהה פרומפטים בעייתיים.

• מחקר בטיחות בינה מלאכותית

  ניתוח תבניות של שאלות ותשובות פוגעניות באנגלית לצורכי מחקר אקדמי.

איפה זה נופל

הנתונים כולם באנגלית בלבד, כך שלמי שמחפש בטיחות בעברית אין פה מענה ישיר בלי תרגום או התאמה. התוכן כולל טקסטים קשים, בוטים ופוגעניים, והיוצרים מדגישים בפירוש שאסור להשתמש בו לאימון ישיר של בוטים לשיחה, כי זה ילמד אותם לפלוט תוכן מזיק. הכרטיס לא מפרט מאיפה הגיעו השאלות במקור או מי היו המתייגים.

איך טוענים

טוענים אותו ישירות דרך הספרייה של Hugging Face עם הפקודה load_dataset על המזהה של PKU-Alignment. אין צורך לבקש אישור גישה מראש. הקבצים שמורים בפורמט jsonl דחוס בשיטות gz או xz, ואפשר למשוך את כל המאגר או להגדיר תיקייה ספציפית כמו round0 או פיצול מסוים.

from datasets import load_dataset

ds = load_dataset("PKU-Alignment/BeaverTails")

הרישיון

הרישיון הוא cc-by-nc-4.0. המשמעות ברורה, מותר להשתמש במידע למחקר ולניסויים פנימיים עם מתן קרדיט מתאים, אבל אסור לעשות בו שום שימוש מסחרי. מודל שתאמנו על הנתונים האלה לא יוכל להיכנס למוצר שמייצר הכנסות או משרת חברה עסקית.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗