hhh_alignment
קוד פתוחHuggingFaceH4apache-2.02023-03-01
המאגר כולל השוואות בינאריות להערכת מודלים על התנהגות מועילה, כנה ולא מזיקה. הוא נבנה במקור עבור BIG-bench ומאפשר לבדוק יישור מודל מול העדפות אנושיות בסיסיות.
- 466הורדות בחודש
- 26לייקים
מה זה
הנתונים מחולקים לארבע קטגוריות: 61 דוגמאות של כנות ודיוק, 59 של מועילות, 58 של מניעת נזק, ועוד 43 תחת קטגוריה כללית. החלק הכללי בוחן התנהגויות רצויות או פסולות של עוזר טקסטואלי, כמו פלרטוט, גסות רוח, תשובות מבולבלות או השמטות חשודות.
המבנה מדמה שיחה בין אדם לעוזר וירטואלי, ללא תוויות מפורשות של שמות הדוברים. כל רשומה מציגה שאילתה או הקשר, ולצידם השוואה בין שתי תגובות אפשריות כדי לקבוע מי מהן עדיפה. חלק מהרשומות נוצרו מפירוק דירוגים שכללו במקור שלוש או ארבע תגובות.
כל הדוגמאות נכתבו בידי מחברי המאמר באנתרופיק ולא נאספו ממשתמשים חיצוניים. כל דוגמה עברה דיון ואושרה על ידי לפחות מחבר נוסף אחד, מתוך כוונה ליצור הסכמה רחבה סביב התשובה הנבחרת.
מתאים ל
- הערכת יישור ראשונית
בדיקת יכולת המודל להבחין בין תגובה מועילה ובטוחה לתגובה מזיקה במבחן בחירה מרובה.
- מדידת נטייה לנזק
בחינת תגובות המודל מול שאילתות בעייתיות בעזרת 58 דוגמאות ייעודיות.
- השוואת דירוגי מודלים
חישוב הסתברויות על פי target_scores כדי להשוות ביצועי התנהגות בין מודלים שונים.
איפה זה נופל
גודל המאגר זעיר, בסך הכל 221 דוגמאות בכל הקטגוריות יחד. הוא לא מתאים לאימון אלא אך ורק להערכה מדגמית מהירה. כל הטקסטים נכתבו באנגלית בלבד על ידי קבוצה קטנה של חוקרים, ולכן תפיסת ה'נכון' משקפת את שיקול דעתם הבלעדי. הכותבים מודים במפורש שהקטגוריות סובייקטיביות וסותרות זו את זו, בעיקר במצבים שבהם סיוע למשתמש מתנגש עם מניעת נזק.
שאלות
נפוצות
האם יש במאגר דוגמאות בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל הדוגמאות נכתבו במקור באנגלית. אם תרצו לבדוק מודל בעברית תצטרכו לתרגם את המבחנים באופן עצמאי.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון apache-2.0 מתיר שימוש מסחרי מלא. תוכלו להריץ עליו בדיקות ומדידות של מודלים פנימיים או מסחריים, בכפוף לשמירה על תנאי הייחוס של הרישיון.
האם הדאטהסט מתאים לאימון מודל?
לא, הוא קטן מדי ומכיל רק 221 דוגמאות בסך הכל. המטרה שלו היא הערכה של מודלים קיימים ולא אימון או כוונון עדין.
מי יצר את הנתונים ואיך הם נאספו?
הנתונים נכתבו ישירות על ידי צוות חוקרים, שכלל בין היתר עובדים באנתרופיק, עבור פרויקט BIG-bench של גוגל. כל דוגמה נכתבה ונבדקה ידנית על ידי שני חוקרים לפחות כדי לוודא הסכמה.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets ללא צורך בהתקנת חבילת bigbench המקורית. הגישה פתוחה לחלוטין ללא דרישת אישור. הקבצים מחולקים לתיקיות לפי הקטגוריות honest, harmless, helpful ו־other, ובתוכן קובצי task.json. השדות מכילים את ההקשר ואת מילון target_scores שמשמש לחישוב ציוני הסתברות או דיוק רגיל של בחירה מרובה.
from datasets import load_dataset
ds = load_dataset("HuggingFaceH4/hhh_alignment")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף נגזרות תחת אותו רישיון, ומותר לבצע הערכה למודלים מסחריים וקנייניים בלי לחשוף אותם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים