model-written-evals

מה זה

המאגר מורכב מבין מאה אלף למיליון רשומות המחולקות למשימות של שאלות רב ברירה, מענה לשאלות וסיווג. רוב הדאטה נוצר ישירות על ידי מודלים שיועדו לבחון סוכני שיחה, ומיועד להעריך איך המודל מגיב למשתמש בענייני מוסר, פוליטיקה או חיפוש כוח.

התוכן מחולק לארבע תיקיות עיקריות. החלק של persona בודק תכונות אישיות, אמונות ורצון בשימור עצמי. החלק של sycophancy בוחן נטייה לחזור על עמדות המשתמש בנושאי פילוסופיה ומחקר. החלק של advanced-ai-risk כולל שאלות על סיכונים קטסטרופליים, ומשלב גם דוגמאות שנכתבו בידי אדם דרך Surge AI כדי להשוות בין המקורות. החלק האחרון, winogenerated, מרחיב את מבחני Winogender לבדיקת הטיות מגדריות על בסיס נתוני תעסוקה.

מתאים ל

• מדידת התרפסות

  בדיקה אם מודל השיחה שלכם נוטה להסכים אוטומטית עם דעות המשתמש במקום לענות באופן ענייני.

• זיהוי חיפוש כוח

  הערכת תגובות של מודלים בנושאי שימור עצמי ושאיפה להשגת שליטה במערכות ממוחשבות.

• בדיקת הטיות מגדר

  שימוש בחלק ה־winogenerated להערכת הטיות מגדריות ביחס למקצועות ותפקידים שונים.

איפה זה נופל

הטקסט כולו באנגלית בלבד, כך שהוא לא יעזור ישירות למי שבוחן מודל בעברית. רוב הדאטה יוצר על ידי מודלים בעצמם, ולכן הוא כולל הטיות חברתיות, סטריאוטיפים ותכנים פוגעניים שהיוצרים מודים בקיומם. הנתונים פורסמו בסוף 2022, כך שהם לא משקפים התנהגויות של מודלים חדשים יותר, ולא הייתי מכניס אותם לאימון ישיר של מוצר בלי סינון קפדני של התשובות.

איך טוענים

הנתונים מפוזרים על פני 159 קבצים, בעיקר בפורמט jsonl בתוך תיקיות המשנה השונות. אין צורך לבקש אישור גישה מיוחד כדי להוריד אותם מחשבון Anthropic. בעבודה עם הקבצים, בעיקר בקטגוריית הסיכונים וההתרפסות, צריך לשים לב לשדות השאלות ואפשרויות הבחירה כדי למדוד את נטיית המודל.

from datasets import load_dataset

ds = load_dataset("Anthropic/model-written-evals")

הרישיון

הרישיון הוא cc-by-4.0. מותר להשתמש בדאטה לצרכים מסחריים, לשנות אותו ולשלב אותו במערכות אחרות, כולל שימוש בו לצורך הערכה של מודלים מסחריים. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים, ואין חובה לשתף את הנגזרות או את המודלים באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗