ih-challenge
קוד פתוחopenaiapache-2.02026-01-12
openai עומדים גם מאחורי Sora, ויש עליו סקירה כאן.
המאגר מיועד לאימון והערכה של מודלים מול הזרקות פרומפטים והיררכיית הנחיות. הוא מגיע ישירות מהמחקר של החברה על שיפור עמידות מודלים בשיטות למידת חיזוק.
- 366הורדות בחודש
- 24לייקים
מה זה
הרשומות במאגר מייצגות עימותים מובנים בין תוקף שמנסה לשבור הנחיות לבין מודל מגן. כל שורה מכילה תבנית שיחה עם תפקידים מוגדרים כמו מערכת, מפתח ומשתמש, לצד הפרומפטים שבהם התוקף משתמש כדי לנסות לעקוף את המגבלות. בנוסף, כל דוגמה כוללת קוד פייתון ייעודי שבודק באופן אוטומטי האם ההתקפה הצליחה או נכשלה על פי הלוגיקה של המשימה.
הקובציים מחולקים לארבעה קובצי נתונים שונים לפי סוג האתגר. תמצאו שם קבצים למשימות עם אילוץ בודד, משימות עם אילוצים מרובים, תרחישים המותנים בקלט, וקובץ ייעודי שבודק סרבנות יתר כדי לוודא שהמודל לא נחסם סתם כשאין באמת התקפה. הנתונים שוחררו כחלק מפרסום המחקר על אימון מודלים חזקים, ללא פירוט נוסף בכרטיס על זהות הכותבים המקוריים של הטקסטים.
מתאים ל
- אימון לעמידות מהזרקות
אימון מודלים לזיהוי הנחיות מערכת והתעלמות מניסיונות של משתמשים לשנות את הכללים.
- בדיקת סרבנות יתר
בדיקה שהמודל שלכם לא דוחה בקשות לגיטימיות של משתמשים בעזרת קובץ הייעודי לכך.
- הערכה אוטומטית למודל
הרצת קוד הפייתון המצורף לבדיקה מהירה של אחוזי הפריצה במודל קיים.
איפה זה נופל
הבעיה הבולטת ביותר כאן היא שכל שמות החברות המקוריות הוחלפו במחרוזות גנריות כדי למנוע סיכונים משפטיים. החוקרים עצמם כותבים שחייבים להחליף את הממלאי מקום האלה בחזרה בשמות אמיתיים לפני שמאמנים, אחרת המודל ילמד תבניות סינתטיות לחלוטין. מעבר לזה, המאגר פורסם באנגלית בלבד ללא שום התייחסות לעברית או לשפות נוספות, כך שהוא לא יעזור לכם לבדוק עקיפת הנחיות בשפה מקומית.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון הוא אפאצ'י שתיים אפס והוא מאפשר שימוש מסחרי מלא. אתם יכולים לאמן מודלים פנימיים או לבנות סביבו כלי הערכה מסחריים, בתנאי שתשמרו על הודעת הייחוס והרישיון המקורי.
האם הדאטהסט כולל תמיכה בעברית?
לא, הנתונים מופיעים באנגלית בלבד לפי המידע בכרטיס. אם אתם רוצים לבדוק עמידות מול התקפות בעברית, תצטרכו לתרגם את הפרומפטים או לייצר תרחישים מקבילים משלכם.
למה מופיעים שמות מוזרים בטקסט כמו ברנד או קומפטיטור?
היוצרים החליפו את שמות החברות האמיתיים כדי להימנע מסיכונים משפטיים ופגיעה במוניטין. הם ממליצים במפורש להחליף את המילים האלה בשמות של חברות אמיתיות לפני שמתחילים לאמן עליו מודל.
איך המידע הזה נאסף במקור?
הכרטיס מציין רק שהנתונים נלקחו מתוך המאמר של החברה שעוסק בשיפור היררכיית הנחיות בעזרת למידת חיזוק. אין פירוט נוסף לגבי האופן המדויק שבו הטקסטים נוסחו או סוננו.
איך טוענים
אתם מושכים את הקבצים ישירות מהמאגר בתצורת ג'ייסון שורתי, ללא צורך בהרשאות מיוחדות או אישור גישה מראש. המאגר עצמו קטן וכולל שישה קבצים בלבד, כך שההורדה מהירה מאוד ואינה דורשת משאבי אחסון כבדים. לפני שמתחילים לרוץ על זה, כדאי לשים לב לשדות המרכזיים: תבנית השיחה של המגן, הפרומפט של התוקף, והקוד שבודק הצלחה. קוד הפייתון שמצורף לכל רשומה דורש הרצה בסביבה מבודדת אם אתם מתכננים להריץ את פונקציות הבדיקה אצלכם באופן אוטומטי, כדי לוודא שהבדיקות שלכם מדויקות ובטוחות.
from datasets import load_dataset
ds = load_dataset("openai/ih-challenge")הרישיון
המאגר מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, ולאמן עליו מודלים חופשיים או סגורים. הדרישה העיקרית היא לשמור על הודעת הרישיון והייחוס המקורי למפרסמים, ללא צורך בשיתוף הנגזרות באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים