FalseReject
קוד פתוחAmazonSciencecc-by-nc-4.02025-05-09
המאגר מרכז פרומפטים שנשמעים מסוכנים אבל תמימים לחלוטין, שנועדו לאמן מודלים להפסיק לסרב סתם לבקשות לגיטימיות. הוא פותר את בעיית היתר-זהירות שמשתקת מודלים במשימות מורכבות.
- 672הורדות בחודש
- 36לייקים
מה זה
המאגר כולל 15,811 דוגמאות שמחולקות לסט אימון של 14,624 רשומות וסט בדיקה של 1,187 רשומות. כל רשומה מבוססת על פרומפט תמים שנראה במבט ראשון פוגעני או מסוכן, ומסווגת תחת אחת מתוך 44 קטגוריות בטיחות שנלקחו מתוך Sorry-Bench. בסט האימון כל דוגמה מגיעה עם שתי תשובות אפשריות: תשובה ישירה לשימוש רגיל, ותשובה מפורטת עם שרשרת חשיבה שמפרקת את שיקולי הבטיחות והפתרון.
תהליך הייצור התבסס על פייפליין רב-סוכנים של מודלי שפה, שנעזר בגרפי ישויות מתוך דאטהסטים רעילים כדי לייצר שאילתות גבוליות. מודלים נפרדים שימשו כמבקרים וכמסננים, ורק שאילתות שהיו בטוחות אבל עדיין גרמו למודלים לסרב להן נשמרו. סט הבדיקה עבר בנוסף תיקוף וסיווג ידני על ידי בני אדם.
מתאים ל
- הפחתת סירובי שווא
אימון מודלים להבדיל בין נושאים רגישים תמימים לבין בקשות זדוניות אמיתיות.
- אימון שרשרת חשיבה
לימוד מודלי reasoning לפרק שיקולי בטיחות מורכבים לפני שהם עונים למשתמש.
- בנצ'מרק לסירובים
הרצת סט הבדיקה המאומת כדי למדוד כמה המודל מסרב לבקשות לגיטימיות.
איפה זה נופל
כל הטקסט במאגר כתוב באנגלית בלבד, כך שהוא לא יעזור אם המודל שלכם מסרב לשאלות תמימות בעברית. בנוסף, כל הנתונים בסט האימון יוצרו באופן סינתטי לחלוטין על ידי מודלי שפה, מה שעלול להכניס סגנון ניסוח מלאכותי ותבניות קבועות אם מאמנים עליו ישירות בלי סינון נוסף. רק סט הבדיקה הקטן נבדק ידנית על ידי אנשים, ולכן ייתכנו מקרים גבוליים שחמקו פנימה בסט האימון הגדול.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון הוא לא-מסחרי לחלוטין. הוא מתאים למחקר אקדמי, בדיקות פנימיות או ניסויי קוד פתוח. שילוב שלו במוצר שמייצר הכנסה מפר את תנאי השימוש.
האם המאגר כולל דוגמאות בעברית?
המאגר כולו באנגלית בלבד. אם המודל שלכם מיועד לעברית, תצטרכו לתרגם את הפרומפטים או לייצר דאטהסט מקומי בעזרת פייפליין דומה. אין כאן שום תוכן בעברית.
איך נאספו הפרומפטים במאגר?
היוצרים בנו פייפליין אוטונומי של מספר מודלי שפה שהשתמשו בגרפי ידע מתוך דאטהסטים רעילים. המודלים ייצרו שאלות שנשמעות מסוכנות אך בטוחות בפועל, וסיננו רק כאלו שהכשילו מודלים אחרים. סט המבחן עבר סינון ותיקוף אנושי.
במה המאגר שונה מדאטהסטים רגילים של בטיחות?
במקום ללמד את המודל לזהות תוכן רעיל ולסרב לו, המאגר מתמקד בדיוק במקרה ההפוך של שאילתות תמימות שנראות מאיימות. הוא מכיל תשובות מנומקות שמדגימות למודל איך לענות במקום לברוח לסירוב אוטומטי.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה AmazonScience/FalseReject ללא צורך בהרשאת גישה מיוחדת. הקבצים שמורים בפורמט JSONL, כך שאפשר גם להוריד אותם ידנית ולעבד אותם מקומית בכל סביבת פייתון. בסט האימון כדאי לשים לב לשדות instruct_response שמכיל תשובה פשוטה ו־cot_response שמחזיר אובייקט עם שרשרת החשיבה והתשובה הסופית. סט הבדיקה מכיל רק את הפרומפט והקטגוריה לצורך בנצ'מרק.
from datasets import load_dataset
ds = load_dataset("AmazonScience/FalseReject")הרישיון
הרישיון הוא CC BY-NC 4.0 שמתיר שימוש למטרות מחקר ולימוד בלבד, אך אוסר כל שימוש מסחרי. חובה לתת ייחוס הולם ליוצרים, ואסור למכור את הדאטהסט או מוצרים שמבוססים עליו ישירות. אם אתם מאמנים מודל על הנתונים האלה, לא תוכלו להשתמש בו במוצר מסחרי סגור או לגבות עליו תשלום.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא