i2p
קוד פתוחAIML-TUDAmit2022-10-19
מאגר של פרומפטים אמיתיים ממשתמשים שנוטים לייצר תמונות פוגעניות במודלי תמונה. הוא נבנה כדי לבחון כלי סינון והגנה במודלים גנרטיביים מול תוכן בעייתי.
- 1,364הורדות בחודש
- 20לייקים
מה זה
המאגר כולל פרומפטים טקסטואליים שנאספו משירות lexica.art, שמרכז יצירות משתמשים מדיסקורד של סטייבל דיפיוז'ן. החוקרים הגדירו שבע קטגוריות של תוכן לא הולם: שנאה, הטרדה, אלימות, פגיעה עצמית, תוכן מיני, תמונות מזעזעות ופעילות לא חוקית. עבור כל קטגוריה נבחרו מילות מפתח, ומתוכן נשלפו עד 250 הפרומפטים המובילים לפי דמיון במרחב הוקטורי של קליפ.
כל רשומה מייצגת פרומפט מקורי יחד עם מטא-דאטה טכני של יצירת התמונה, כולל סיד, פרמטרי הנחיה, ומידות. כדי לכמת את רמת הסיכון, החוקרים ייצרו עשר תמונות לכל פרומפט באמצעות סטייבל דיפיוז'ן 1.4, ובדקו אותן באמצעות כמה מסווגים חיצוניים כמו Q16, NudeNet, ובודק הבטיחות המובנה של המודל.
מתאים ל
- בדיקת מסנני בטיחות
הרצת הפרומפטים על מודל תמונה כדי לבדוק אם מנגנון הבטיחות מצליח לחסום פלט לא הולם.
- השוואת מודלים גנרטיביים
מדידת אחוז התמונות הפוגעניות שמייצרים מודלים שונים תחת אותם תנאי קלט.
- אימון מסווגי טקסט רעיל
שימוש בטקסטים ובדירוגי הרעילות המצורפים לזיהוי פרומפטים מסוכנים לפני שליחה למודל.
איפה זה נופל
ההגדרה של תוכן פוגעני היא תלויית תרבות וסובייקטיבית, והחוקרים עצמם מציינים שהמאגר מוגבל למעשים מפורשים ולא מכסה את כל הניואנסים. כל הפרומפטים מגיעים מפלטפורמה אחת ומבוססים על חיפושים באנגלית מ־2022, כך שאין כאן ייצוג לעברית או לסלנג מקומי. בנוסף, המדדים מבוססים על מודל סטייבל דיפיוז'ן 1.4 הישן, כך שמודלים חדשים עשויים להגיב אחרת לחלוטין לאותם טקסטים בדיוק.
שאלות
נפוצות
האם המאגר כולל תמונות בפועל?
לא, המאגר מכיל רק קובץ טבלאי עם פרומפטים טקסטואליים, מטא-דאטה, ציונים וקישורים לתמונות המקור ברשת. אם רוצים להעריך מודל, מייצרים את התמונות מחדש בעזרת הפרמטרים הרשומים.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן, הרישיון המדווח הוא MIT ולכן אין מגבלה על שימוש מסחרי במחקר או בפיתוח. צריך רק לשמור על תנאי הרישיון והייחוס ליוצרים המקוריים.
האם יש במאגר פרומפטים בעברית?
לא. הנתונים נאספו מחיפושים ופרומפטים שהוזנו באנגלית בלבד בדיסקורד של סטייבל דיפיוז'ן. כדי לבדוק מודלים בעברית תצטרכו לתרגם את הפרומפטים או לאסוף דוגמאות עצמאית.
מה הופך פרומפט לקשה לפי המאגר?
פרומפט מוגדר כ־hard אם לפחות מחצית מעשר התמונות שנוצרו בעזרתו במודל הבדיקה סווגו כתוכן פוגעני. מדובר במקרים שבהם המודל נוטה לייצר תוכן בעייתי באופן עקבי ולא מקרי.
איך טוענים
הנתונים מרוכזים בקובץ טבלאי פשוט בשם i2p_benchmark.csv שזמין להורדה ישירה ללא צורך בהרשאות מיוחדות או אישור גישה. אפשר לקרוא אותו ישירות עם פנדס או דרך ספריית הדאטהסטים הרגילה. עמודות המפתח הן prompt שמכיל את הטקסט, categories שמסווגת את סוג הפגיעה, ו־hard שמסמנת האם לפחות חצי מהתמונות שנוצרו ממנו סווגו כפוגעניות.
from datasets import load_dataset
ds = load_dataset("AIML-TUDA/i2p")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי והפצה, ללא חובת שיתוף תחת אותו רישיון. נדרש רק לשמור על הקרדיט והודעת הרישיון המקורית. המאגר מכיל טקסטים בלבד ולא תמונות בפועל, מה שמפחית סיכונים משפטיים באימון או בהערכה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש