Anthropic_HH_Golden
קוד פתוחUnified-Language-Model-Alignmentapache-2.02023-09-29
המאגר לוקח את נתוני ההעדפה של אנתרופיק ומחליף את התשובות החיוביות בשכתובים איכותיים מבוססי מודל. מי שמאמן מודלים בשיטות יישור יקבל כאן דוגמאות נקיות ובטוחות יותר.
- 240הורדות בחודש
- 39לייקים
מה זה
המאגר מבוסס על חלק ה־harmless מתוך דאטהסט ה־Helpful and Harmless המקורי של חברת Anthropic, ומיועד למשימות שיחה ויישור מודלי שפה. בגרסה המקורית, התשובות שנחשבו חיוביות הופקו על ידי מודל שעבר כוונון עדין, אך כללו לעיתים קרובות תוכן מזיק או לא מועיל. היוצרים לקחו את השיחות האלו והחליפו את התשובות המועדפות בגרסאות שנכתבו מחדש באמצעות GPT4.
המבנה של כל רשומה נשען על השוואת העדפות. התשובה שנבחרה שוכתבה כדי להפוך אותה לבטוחה יותר, בעוד שהתשובה שנדחתה נשארה ללא שינוי מהמקור. הדאטהסט מחולק לשני קבצים עיקריים בפורמט jsonl, אחד לאימון והשני לבדיקה, ומכיל בין עשרת אלפים למאה אלף דוגמאות שנועדו לבחון שיטות כמו ULMA, RLHF ו־DPO.
מתאים ל
- אימון בשיטת DPO
שימוש בזוגות של תשובה משוכתבת מול תשובה דחויה כדי לכוונן ישירות את העדפות המודל.
- יישור מודלים בשיטת ULMA
בדיקת אלגוריתמים שמפרידים בין דוגמאות חיוביות איכותיות לבין דגימות שליליות ללא רגולריזציה.
- אימון מודלי תגמול ל־RLHF
לימוד מודל תגמול להבדיל בין שיח בטוח שנוצר מחדש לבין תגובות מזיקות שלא סוננו.
איפה זה נופל
הנתונים כולם באנגלית, בלי שום ייצוג לעברית או להקשרים מקומיים. מעבר לזה, התשובות החיוביות נוצרו כולן על ידי GPT4, מה שמכניס סגנון סינתטי אחיד והטיות מוכרות של המודל הזה. מי שמפתח מוצר צריך לזכור שהכרטיס לא מפרט סינון ידני של התוצאות, אלא רק החלפה של התשובה הטובה. אי אפשר להסתמך על זה לבד כדי למנוע פליטות של תוכן בעייתי במודל שלכם.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0, שמתיר שימוש מסחרי, שינויים והפצה של הנתונים והתוצרים. תצטרכו רק לכלול את הודעת זכויות היוצרים והרישיון המקורי בקוד או במוצר שלכם.
האם הדאטהסט כולל טקסטים בעברית?
לא, השפה היחידה שמוגדרת במאגר היא אנגלית. אם אתם מכוונים למודלים שצריכים להתמודד עם שיחות או שאלות בטיחות בעברית, הנתונים כאן לא יעזרו לכם בלי תרגום או התאמה חיצונית.
מה ההבדל בין המאגר הזה לבין הדאטהסט המקורי של אנתרופיק?
בדאטהסט המקורי התשובות הטובות הגיעו ממודל ישן יותר והכילו לא מעט טעויות ותוכן מזיק. כאן היוצרים לקחו את החלק הלא מזיק, שמרו את התשובות הדחויות בדיוק כפי שהיו, והחליפו רק את התשובות המועדפות בטקסט חדש ונקי שנכתב על ידי GPT4.
איך הנתונים מאורגנים בתוך הקבצים?
המאגר כולל ארבעה קבצים, והמידע עצמו מחולק לשני קובצי jsonl בתיקיית hh_golden, אחד לאימון ואחד לבדיקה. היקף הרשומות הכולל נע בין עשרת אלפים למאה אלף דוגמאות שיחה שלמות.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה של Hugging Face בפקודה load_dataset עם המזהה Unified-Language-Model-Alignment/Anthropic_HH_Golden, או שמושכים את הקבצים ישירות באמצעות git clone. הגישה פתוחה לגמרי ואין צורך באישור מיוחד. הנתונים מחולקים לקובצי hh_golden/train.jsonl ו־hh_golden/test.jsonl, כאשר השדות המרכזיים בודקים את ההבדל בין התשובה המשוכתבת והבטוחה לבין התשובה שנדחתה.
from datasets import load_dataset
ds = load_dataset("Unified-Language-Model-Alignment/Anthropic_HH_Golden")הרישיון
המאגר פורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה, כל עוד נותנים קרדיט ומשאירים את הודעת הרישיון המקורית. אין חובה לשתף מודלים שתאמנו תחת אותו רישיון בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים