counterfact-tracing
קוד פתוחNeelNandaרישיון לא דווח2022-11-05
המאגר כולל עובדות עם השלמות נכונות ושגויות שחוקר חתך במיוחד לעבודה על mechanistic interpretability. הוא נועד למדידת הפער בהסתברויות של מודל בזמן שליפת מידע.
- 1,472הורדות בחודש
- 14לייקים
מה זה
הנתונים מבוססים על מאגר counterfact מתוך המחקר ROME של דייוויד באו וקווין מנג, שפותח במקור לעריכת זיכרון במודלים של שפה. ניל ננדה עיבד את המידע וצמצם אותו למה שנחוץ ספציפית למחקר על causal tracing כדי להבין איך רשתות שולפות ידע עובדתי. המאגר מורכב מקובץ אימון יחיד ובו 21,919 קשרים עובדתיים שונים, ללא חלוקה נוספת לסט בדיקה או ולידציה.
כל שורה מייצגת תבנית עובדתית שמורכבת מהשדות relation_prefix, subject ו־relation_suffix, אשר מתחברים יחד לפרומפט מלא. לכל פרומפט כזה מוצמדות שתי תשובות אפשריות שנועדו להופיע מיד בסופו, target_true הנכונה ו־target_false השגויה. ננדה הוסיף רווחים לפני היעדים והנושאים היכן שצריך כדי למנוע שיבושים בטוקניזציה, כך שרווח מוצמד תמיד ליעדים, ומוצמד לנושא אלא אם הוא פותח את המשפט.
מתאים ל
- ניתוח שליפת עובדות במודל
מדידת הפער בלוג'יטים בין השלמה נכונה לשגויה כדי לזהות איפה המודל שומר ידע.
- מחקר causal tracing
מעקב אחרי מסלולי המידע ברשת בזמן מענה על פרומפטים עובדתיים קבועים.
- בדיקת דיוק עובדתי בטוקן
בחינה מהירה של נטיית המודל לבחור בתשובת אמת מול תשובת שקר מוגדרת מראש.
איפה זה נופל
אין כאן עברית, והנתונים בנויים באנגלית ומותאמים לתחביר שלה. המאגר מתאים בעיקר למחקר תיאורטי של רשתות ולא לאימון מודל שירות, כיוון שהוא מבודד עובדות בודדות בלבד ולא שיחה שלמה. אם אתם רוצים למדוד יעדים של יותר מטוקן אחד, ההמלצה הטכנית על חישוב הפרש הלוג'יטים פחות מתאימה. בנוסף, הנתונים הועלו בסוף 2022 ולא עודכנו מאז, וכרטיס המאגר אינו מפרט הטיות מובנות או סינון רעילות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא כדאי. המאגר פורסם ללא רישיון כלל, מה שאומר מבחינה משפטית שאין הרשאה מפורשת לשימוש מסחרי או להפצה. כל עוד היוצר לא מעדכן רישיון פתוח, הוא מתאים לצורכי מחקר פרטיים בלבד.
האם יש במאגר נתונים בעברית?
לא, המאגר מורכב ממשפטים באנגלית שמבוססים על מחקר ה־ROME המקורי. חלקי המשפט, הפרומפטים והמטרות מנוסחים כולם באנגלית, והרווחים הותאמו לטוקניזציה של שפה זו.
מה ההבדל בין המאגר הזה ל־counterfact המקורי?
הגרסה הזו עברה צמצום של הנתונים כדי להתאים במיוחד למחקרי mechanistic interpretability ו־causal tracing. היוצר הסיר מידע שאינו נחוץ למעקב סיבתי והוסיף רווחים ידנית לפני הנושאים והיעדים כדי לתקן עיוותי טוקניזציה.
כמה רשומות יש בדאטהסט ואיך הוא בנוי?
הוא כולל בדיוק 21,919 שורות של קשרים עובדתיים שנשמרות בקובץ parquet יחיד. כל שורה מפרקת את המשפט לפתיח, נושא, סיומת, ושני יעדים להשוואה.
איך טוענים
טוענים את המאגר ישירות מ־Hugging Face בעזרת הספרייה הרגילה, תוך ציון המזהה של ניל ננדה. מדובר בקובץ parquet יחיד שנמצא בתיקיית המידע, ללא צורך בהרשאה מיוחדת או בבקשת גישה מראש. השדות המרכזיים לעבודה הם הפרומפט המורכב ושני ערכי המטרה, האמיתי והשקרי. מומלץ למדוד את ההפרש בלוג'יטים בין התשובה הנכונה לשגויה כשהיעד הוא טוקן בודד.
from datasets import load_dataset
ds = load_dataset("NeelNanda/counterfact-tracing")הרישיון
היוצר לא הגדיר רישיון שימוש במאגר. מבחינה חוקית, היעדר רישיון משמעו שכל הזכויות שמורות, ולכן אסור להשתמש במידע הזה במוצרים מסחריים או להפיץ אותו מחדש. כל אימון או הערכה שתבצעו עליו לצורך מסחרי חושפים אתכם לסיכון משפטי עד שיוסדר מעמדו מול היוצר.