aya_redteaming

מה זה

המאגר כולל פרומפטים בעייתיים שנועדו לבחון גבולות של מודלי שפה בשמונה שפות: ערבית, אנגלית, פיליפינית, צרפתית, הינדית, רוסית, סרבית וספרדית. הנתונים לא נאספו בסריקה אוטומטית אלא נכתבו ותויגו בידי מתייגים מקצועיים בתשלום. כל רשומה כוללת את הטקסט המקורי, שיוך לאחת או יותר מתוך תשע קטגוריות פגיעה, סימון האם מדובר בנזק גלובלי או מקומי, תרגום מילולי או סמנטי לאנגלית, והסבר מפורט מדוע הפרומפט מוגדר כמזיק.

התוכן מחולק לקבצי jsonl נפרדים לפי שפות. קטגוריות הפגיעה מכסות הטרדה ובריונות, אפליה, תוכן גרפי, ייצוג ואיכות שירות, דברי שטנה, תוכן מיני לא בהסכמה, ניבול פה, פגיעה עצמית, ואיומים באלימות. התיוג המבדיל בין הקשר מקומי לגלובלי נותן מידע על ניואנסים שתרגום מכונה פשוט מפספס.

מתאים ל

• בדיקת עמידות מודל רב לשוני

  הרצת הפרומפטים מול מודל קיים ובדיקה האם הוא מסרב לענות לבקשות מסוכנות בשפות שונות.

• הערכת רגישות מקומית

  בחינת יכולת המודל לזהות פגיעה מבוססת הקשר תרבותי מקומי בעזרת השדה הייעודי.

• בניית מסנני קלט

  אימון ובדיקה של מערכות סיווג קלט שנועדו לחסום בקשות פוגעניות מראש לפי קטגוריה.

איפה זה נופל

החיסרון המרכזי למפתח הישראלי הוא היעדר מוחלט של עברית. המאגר מכסה רק שמונה שפות ספציפיות, כך שאי אפשר להשליך ממנו ישירות על בטיחות מודלים בעברית בלי עבודת התאמה ותרגום משמעותית. בנוסף, מדובר בדאטהסט שמכיל אך ורק פרומפטים זדוניים ומזיקים, ללא תגובות מודל וללא דוגמאות לתשובות בטוחות או לסירובים תקינים. המשמעות היא שהוא מתאים בעיקר להערכה ולבדיקות חוסן, ולא יכול לשמש כבסיס ישיר לאימון התנהגות רצויה.

איך טוענים

טוענים את המאגר ישירות עם ספריית datasets של פייתון באמצעות הפקודה load_dataset עם הנתיב CohereLabs/aya_redteaming. אפשר לטעון שפה בודדת לפי שמה באנגלית, למשל english או french, או את כל השפות יחד אם משאירים את הפרמטר ריק. המאגר פתוח לציבור ללא צורך בהרשאת גישה מיוחדת, והקבצים שמורים בפורמט jsonl פשוט שנוח לקריאה בכל שפת תכנות. השדות המרכזיים לעבודה הם prompt, harm_category, global_or_local והשדה explanation.

from datasets import load_dataset

ds = load_dataset("CohereLabs/aya_redteaming")

הרישיון

המאגר שוחרר תחת רישיון apache-2.0. הרישיון מתיר שימוש חופשי לחלוטין לכל מטרה, כולל מחקר ושימוש מסחרי מלא במוצרים סגורים. הדרישה העיקרית היא שמירה על הודעת זכויות היוצרים וייחוס ליוצרים המקוריים, ללא חובה לשתף נגזרות או מודלים שאומנו תחת אותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗