toxic-dpo-v0.2

מה זה

המאגר כולל טקסטים שנוצרו אוטומטית על ידי מודלי שפה, ומכילים קללות, תוכן רגיש ותשובות שנחשבות מזיקות. המטרה המוצהרת של היוצר היא להראות איך אפשר להשתמש בשיטת DPO כדי להוריד חסימות וצנזורה ממודל שפה קיים, בלי להזדקק לכמויות אדירות של דוגמאות.

לפי התיעוד, חלק גדול מהתשובות עדיין כולל אזהרות והסתייגויות מובנות, כך שהחומר לא מנוקה לחלוטין ונשאר עם עריכה מסוימת שנכפתה על ידי המודלים שיצרו אותו. אין בכרטיס פירוט לגבי אופן הסינון המדויק או חלוקה מוגדרת למקטעים, והמיקוד הוא אך ורק בהדגמת תהליך הדה-אליינמנט.

מתאים ל

• מחקר על עקיפת צנזורה

  בדיקת היעילות של אימון DPO בהסרת מגבלות בטיחות ממודלים עם מעט דוגמאות.

• בחינת עמידות מודלים

  שימוש בטקסטים המזיקים כדי לבדוק אם מודלי הגנה מזהים תוכן בעייתי וקללות.

• ניתוח שאריות אזהרה

  חקר האופן שבו מודלים מייצרים דיסקליימרים גם כשהם מתבקשים לספק מענה פוגעני.

איפה זה נופל

החומר נוצר כולו על ידי מודלים ולא נאסף מבני אדם, מה שאומר שהוא סוחב איתו הטיות גנרטיביות מובנות. היוצר עצמו מודה שרבות מהתשובות עדיין מכילות דיסקליימרים ואזהרות, כך שההסרה של הצנזורה אינה שלמה. אין תיעוד לגבי שפות שאינן אנגלית, תאריכי הגזירה המדויקים לא מפורטים, ולא הייתי מכניס שום דבר מכאן לסביבת ייצור בלי בדיקה ידנית מעמיקה של הפלטים.

אותה משפחה

toxic יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך טוענים

טוענים את הקובץ ישירות בפורמט parquet מתוך המאגר, בלי צורך בבקשת גישה מיוחדת או אישור ידני. מדובר בקובץ יחיד בשם toxic-dpo.parquet שיושב לצד תיעוד הרידמי, כך שההורדה מהירה ופשוטה. לפני שמתחילים לאמן, תצטרכו לבדוק את מבנה העמודות בקובץ ולוודא שהפורמט מתאים ישירות לסקריפט ה־DPO שלכם.

from datasets import load_dataset

ds = load_dataset("unalignment/toxic-dpo-v0.2")

הרישיון

הרישיון המדווח במאגר הוא cc-by-4.0 שמתיר עקרונית שימוש מסחרי בכפוף למתן קרדיט. עם זאת, יוצר המאגר הוסיף הגבלה מפורשת בטקסט שדורשת שימוש למטרות מחקר ואקדמיה בלבד, לצד הסרת אחריות מלאה מצידו. הסתירה הזו בין הרישיון הפורמלי לתנאי השימוש בעמוד מחייבת זהירות משפטית לפני כל שימוש במודל שיאומן עליו.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗