browsesafe-bench

מה זה

המאגר מכיל 14,719 דוגמאות שמחולקות לקובץ אימון עם 11,039 רשומות וקובץ בדיקה עם 3,680 רשומות. הבסיס לכל דוגמה נלקח מתוכן טקסטואלי של אתרים אמיתיים שעבר אנונימיזציה, ונבנה מחדש באמצעות מערכת תבניות בשמונה סגנונות עיצוב כדי לחקות מבנה של דפי אינטרנט אמיתיים.

התקיפות חולקו לפי אחת עשרה קטגוריות שנעות בין הוראות בסיסיות, דרך חילוץ סיסטם פרומפט והתחזות, ועד ניסוחים עקיפים בכמה שפות. טכניקות ההזרקה מכסות אלמנטים גלויים כמו פסקאות וטבלאות, וגם אלמנטים מוסתרים כמו הערות בקוד, שדות טופס נסתרים ומאפייני נתונים. לצידם שולבו מסיחים תמימים במבנה זהה כדי למנוע זיהוי פשטני לפי תגיות בלבד, והתיוג הבינארי נקבע אוטומטית לפי תהליך ההזרקה.

מתאים ל

• אימון מסווגי הגנה

  אימון מודל ייעודי לזיהוי הזרקות פרומפט בתוך מקורות HTML לפני שהטקסט מועבר לסוכן.

• בדיקת עמידות סוכנים

  הרצת סוכן רשת מבוסס מודל שפה על סט המבחן כדי לבדוק אם הוא מציית להוראות זדוניות באתרים.

• השוואת ביצועי מודלים

  מדידת יכולת הסינון של מודלי שפה שונים מול הזרקות ישירות ומוסתרות ברשת לפי מדדי דיוק.

איפה זה נופל

התוכן מבוסס בעיקר על אנגלית, למרות שיש דוגמאות תקיפה בודדות בשפות נוספות, כך שהוא לא מתאים לאימון הגנה ממוקדת בעברית. בנוסף, שלד ה־HTML נוצר מתבניות סינתטיות והתיוג נעשה במכונה לפי צינור ההזרקה ולא בידי אדם, מה שעלול לייצר פערי אמינות מול דפי רשת חיים ומורכבים.

איך טוענים

הנתונים שמורים בשני קבצי Parquet נפרדים לאימון ולבדיקה. אין צורך לבקש אישור גישה מיוחד, טוענים אותם ישירות מיוזר perplexity-ai בעזרת הספרייה הרגילה של Hugging Face. התיוג הוא בינארי ומבוסס על שדה שמקבל ערך של yes או no, כאשר הקלט העיקרי הוא מסמך ה־HTML שמכיל את התוכן וההזרקות.

from datasets import load_dataset

ds = load_dataset("perplexity-ai/browsesafe-bench")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, כולל אימון מודלים פנימיים או מסחריים, כל עוד שומרים על הודעת זכויות היוצרים המקורית של פרפלקסיטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗