coconot
קוד פתוחallenaiרישיון לא דווח2024-06-11
המאגר מלמד מודלים מתי לסרב לבקשות של משתמשים גם כשהן לא מסוכנות ישירות. הוא מציע דוגמאות לסירוב מוצדק לצד בקשות דומות שדווקא צריך למלא.
- 4,623הורדות בחודש
- 25לייקים
מה זה
הנתונים מבוססים על טקסונומיה של אי היענות הקשרית בחמש קטגוריות ראשיות: בקשות חלקיות, בקשות שאינן נתמכות, בקשות לא מוגדרות, בקשות להאנשה, ובקשות עם היבטי בטיחות. כל קטגוריה כוללת גם תת קטגוריות מפורטות.
המבנה מחולק לשלושה תתי מאגרים שונים. החלק הראשון מכיל שאילתות שמודל צריך לסרב להן, והחלק השני מכיל שאילתות ניגוד מקבילות שדווקא ראוי להיענות להן, כאשר שתיהן מחולקות לסט אימון ולסט הערכה שעבר אימות אנושי. החלק השלישי מיועד ללמידת העדפות וכולל בחירה בין תגובה מוצלחת של מודל חזק לדחייה שגויה ממודל חלש יותר.
מתאים ל
- אימון העדפות
כוונון מודלים בשיטות העדפה כדי שלא יסרבו בטעות לשאלות לגיטימיות.
- הערכת בטיחות
בדיקת היכולת של צ'אטבוט לסרב לבקשות בעייתיות על בסיס סט המבחן המאומת.
- בניית סיווג
אימון מסווג ייעודי לזיהוי כוונות משתמש לפי חמש הקטגוריות המוגדרות.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שהם לא יסייעו ישירות בבניית מנגנוני סירוב בעברית ללא התאמה ותרגום. בנוסף, חלוקת ההעדפות נשענת על מודל חזק ספציפי ליצירת התשובות הנבחרות, מה שעשוי להכניס את ההטיות והסגנון המובנה שלו. כרטיס המאגר לא מפרט כאן את שיטות הסינון והאיסוף המדויקות אלא מפנה למאמר החיצוני, ולכן חובה לקרוא אותו לפני שמשלבים את המידע בתהליכי פיתוח מוצר.
שאלות
נפוצות
האם המאגר כולל תוכן בעברית?
לא, כל הדוגמאות וההנחיות במאגר מופיעות באנגלית בלבד. אם תרצו להשתמש בו למוצר מקומי, תצטרכו לתרגם את השאילתות ולהתאים אותן להקשר התרבותי הישראלי.
האם מותר להשתמש במידע לפרויקט מסחרי?
הכרטיס מציג מידע סותר ולא חד משמעי. במקום אחד מוזכר רישיון חופשי עם ייחוס, במקום אחר יש הפניה לרישיון מחקרי ייעודי, ובראש העמוד נכתב שלא דווח רישיון. במצב כזה מומלץ לבדוק את קובץ הרישיון במאגר ישירות לפני שמתחילים לאמן.
במה הוא שונה מדאטהסטים רגילים של בטיחות?
רוב המאגרים בתחום מתמקדים רק בסירוב לתכנים אלימים או פליליים. כאן המטרה היא ללמד את המודל לסרב גם במקרים של שאלות עמומות, בקשות להאנשה או משימות שהוא פשוט לא מסוגל לבצע טכנית.
מה המשקל והגודל של המאגר?
המאגר קטן מאוד ומכיל בין אלף לעשרת אלפים רשומות בסך הכל. הוא מחולק לשבעה קבצים בלבד בפורמט פרקט, כך שההורדה שלו מיידית ולא תדרוש משאבי אחסון משמעותיים.
איך טוענים
טוענים את המידע ישירות דרך ספריית הנתונים עם הפקודה הרגילה, תוך ציון השם והחלק המבוקש מבין השלושה. הגישה פתוחה לחלוטין ללא צורך באישור מוקדם. הנתונים שמורים בקובצי פרקט קלים. הרשומות הרגילות מכילות מזהה, הנחיה, קטגוריה, תת קטגוריה ותשובה, בעוד שבחלק ההעדפות תמצאו שדות של תגובה נבחרת ונדחית לצד שמות המודלים שיצרו אותן.
from datasets import load_dataset
ds = load_dataset("allenai/coconot")הרישיון
יש חוסר התאמה ברור במסמכים. בתיאור המאגר נרשם קישור לרישיון מיוחד של אלן, בהמשך מופיע רישיון מסוג שימוש חופשי עם ייחוס, ובמטא דאטה של העמוד לא דווח רישיון כלל. המצב הזה מחייב בדיקה משפטית זהירה מול המאגר לפני שימוש במודלים מסחריים.