Toxic-All

מה זה

המאגר כולל ארבעה קובצי נתונים עיקריים שחולקו לשני פורמטים מוכרים בעולם האימון. שני קבצים מגיעים במבנה של אלפקה שמיועד לכוונון עדין של הוראות, ושני קבצים נוספים מגיעים במבנה של די פי או שמיועד לאימון העדפה ישיר. הנתונים מתמקדים בנושאים קשים או רעילים, ומטרתם המוצהרת היא לטפל בהטיות שמגיעות מיישור יתר של מודלים שנוטים לסרב לענות.

המפרסם לא אסף את הטקסטים בעצמו אלא ליקט אותם ממאגרים פתוחים אחרים ברשת. קובץ די פי או אחד נלקח מהפרויקט toxic dpo של unalignment, הקובץ השני מגיע ממאגר סיני בשם dpo toxic zh, ושני קובצי האלפקה נלקחו מהמאגר toxic sft zh. הכרטיס לא מפרט את הליך הסינון המדויק, אלא רק מציין שהם עברו התאמת פורמט וארגון מחדש לצורך אימון מודלים מבוזרים.

מתאים ל

• אימון העדפה ללא צנזור יתר

  שימוש בקובצי הדי פי או כדי ללמד מודל להתמודד עם שאלות רגישות באנגלית ובסינית בלי לסרב אוטומטית.

• כוונון עדין על שאלות קשות

  אימון הוראות באמצעות קובצי האלפקה כדי להרגיל את המודל לשיח בנושאים שנויים במחלוקת.

• בדיקת תגובות לתוכן רעיל

  הערכת העמידות של מודלים קיימים מול שאילתות פרובוקטיביות ומורכבות בשפות הנתמכות.

איפה זה נופל

הבעיה המרכזית היא חוסר השקיפות לגבי הסינון. הכרטיס לא מסביר איך החליטו מה נחשב לא מוטה או איזה תוכן רעיל הושאר בפנים, ולכן אתם מסתכנים בהכנסת תוכן קיצוני ישירות למשקולות של המודל. בנוסף, אין כאן עברית כלל, אלא רק אנגלית וסינית. הנתונים נשענים על מקורות צד שלישי בלי בדיקת איכות מתועדת, כך שחובה לדגום את הטקסטים ידנית לפני שרצים לאמן.

איך טוענים

טוענים את הקבצים ישירות מהמאגר בעזרת ספריית הדאטהסטס או בקריאת ג'ייסון רגילה, כי כל המידע יושב בקבצים כמו alpaca unbiased או dpo unbiased. אין כאן שער גישה ואין צורך לבקש אישור מראש. לפני שטוענים כדאי לשים לב באיזה קובץ משתמשים, כי קובצי האלפקה מכילים שדות של הוראה ותשובה, בעוד קובצי הדי פי או מכילים בחירות של העדפה. הנתונים מגיעים באנגלית ובסינית בלבד.

from datasets import load_dataset

ds = load_dataset("ystemsrx/Toxic-All")

הרישיון

המאגר מוגדר תחת רישיון אמ איי טי, שבאופן עקרוני מתיר שימוש מסחרי, שינוי והפצה בלי תמלוגים, כל עוד שומרים על הקרדיט. עם זאת, היוצר מציין במפורש שהנתונים נאספו מפרויקטים שונים עם תנאי רישוי משלהם. המשמעות היא שאי אפשר להסתמך רק על רישיון אמ איי טי של המאגר הזה, וחובה לבדוק את הרישיונות המקוריים של שלושת מקורות המידע לפני שמפיצים מודל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗