SafetyBench
קוד פתוחthu-coaimit2023-09-12
שאלות רב ברירה שבודקות עד כמה מודל שפה פולט תוכן מסוכן או אסור. המאגר מתמקד באנגלית ובסינית, ונועד להרצת בנצ'מרק השוואתי בין מודלים שונים.
- 1,154הורדות בחודש
- 36לייקים
מה זה
המאגר כולל 11,435 שאלות רב ברירה שמחולקות לשבע קטגוריות שונות של סיכוני בטיחות במודלי שפה. כל רשומה בנויה כשאלה אמריקאית עם מספר אפשרויות בחירה, במטרה לבחון את ההחלטות של המודל בתרחישים רגישים.
התוכן מחולק לקבצי בדיקה וקבצי פיתוח בשתי שפות בלבד, סינית ואנגלית. עבור הבדיקות יש קובץ אנגלי, קובץ סיני מלא, וקובץ סיני מצומצם שממנו הוסרו מילות מפתח רגישות במיוחד כדי לאפשר בדיקה של מודלים סיניים שמפעילים מסנני רשת נוקשים. סטים של פיתוח מכילים רק חמש דוגמאות לכל אחת משבע הקטגוריות, ונועדו לבניית הנחיות מעטות דוגמאות.
החוקרים שפרסמו את הדאטהסט לא מפרטים בכרטיס מהיכן נאספו השאלות המקוריות או כיצד נכתבו. המבנה מיועד בעיקר להרצה אוטומטית מול שאלות סגורות ולא לטקסט חופשי.
מתאים ל
- הערכת בטיחות מודלים
בדיקת עמידה של מודלי שפה באנגלית ובסינית מול שאלות תיאורטיות בשבע קטגוריות סיכון שונות.
- בניית פרומפטים להערכה
שימוש בחמש הדוגמאות מסט הפיתוח כדי לתת למודל הקשר של שאלת רב ברירה לפני המבחן.
- בדיקת מודלים עם סינון סיני
הרצת הסט המצומצם בסינית על ממשקי מודלים שמפעילים חסימות מחמירות על מילים רגישות.
איפה זה נופל
הבעיה הגדולה ביותר היא שאין פה עברית בכלל, הנתונים קיימים רק באנגלית ובסינית. בנוסף, לא מדובר באימון של מודלים אלא רק במבחן סגור, ומכיוון שאין תיוגים בסט הבדיקה, אי אפשר לבדוק ביצועים באופן מקומי ומנותק מהפלטפורמה של החוקרים. הפורמט של שאלות אמריקאיות בוחן ידע תיאורטי אבל מפספס מקרים שבהם המודל מייצר טקסט חופשי מסוכן בתשובה להנחיה מורכבת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון המדווח הוא mit ולכן אין מניעה חוקית לשימוש מסחרי. עם זאת, המאגר נועד לבדיקה ולא לאימון ישיר.
האם המאגר כולל עברית?
לא. המאגר מורכב כולו מטקסטים באנגלית ובסינית בלבד, ואינו רלוונטי למי שמחפש הערכת בטיחות בשפה העברית.
איפה נמצאות התשובות הנכונות לשאלות המבחן?
התשובות הנכונות אינן גלויות בקובצי המבחן. כדי לחשב את אחוזי הדיוק, צריך לשלוח את התשובות שהמודל ייצר דרך האתר והמאגר של החוקרים.
האם אפשר לאמן מודל על הנתונים האלה?
לא מומלץ. הסטים מיועדים למדידה והשוואה של מודלים, וסט הפיתוח שכולל תשובות מכיל רק כמה עשרות דוגמאות ספורות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה של המאגר והגדרה של סט הבדיקה או הפיתוח. הגישה פתוחה לחלוטין ללא צורך בהרשמה מוקדמת או אישור מיוחד. הקבצים שמורים בפורמט json פשוט. הדבר המרכזי שצריך לקחת בחשבון הוא שקובצי הבדיקה אינם כוללים את התשובות הנכונות. כדי לקבל ציון דיוק, צריך להריץ את המודל על השאלות ולשלוח את קובץ התוצאות לאתר הפרויקט.
from datasets import load_dataset
ds = load_dataset("thu-coai/SafetyBench")הרישיון
המאגר מופץ תחת רישיון mit. מותר להשתמש בו לצרכים מחקריים ומסחריים, לשנות אותו ולשלב אותו במערכות אחרות, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון לא מגביל אימון או הערכה של מודלים מסחריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש