Wikipedia_contradict_benchmark
קוד פתוחibm-researchmit2024-07-04
המאגר כולל 253 דוגמאות מתויגות ידנית לבדיקת התמודדות של מודלי שפה עם סתירות מידע אמיתיות בוויקיפדיה. הוא מיועד למי שבונה או בוחן מערכות RAG ורוצה לראות מה קורה כשהמקורות מתנגשים.
- 681הורדות בחודש
- 28לייקים
מה זה
הנתונים נשענים על כ־1,200 ערכים מתוך קטגוריית בעיות התוכן בוויקיפדיה, ספציפית פסקאות שסומנו בתגיות של סתירה עצמית או סתירה מול ערך אחר. החוקרים ב־IBM סיננו ואימתו את התוכן מול תקצירי העריכה ודפי השיחה, ערכו את הפסקאות כדי שיוכלו לעמוד באופן עצמאי ללא תלות בהקשר חיצוני, וניסחו שאלות ייעודיות לכל מקרה.
כל רשומה בנויה סביב שאלה, צמד פסקאות סותרות, ושתי תשובות נכונות שונות שכל אחת מהן נסמכת על אחת הפסקאות. המקרים מחולקים לסתירות מפורשות, שקל לזהות בטקסט, ולסתירות מרומזות שמחייבות היסק לוגי כדי לעלות על הפער. בנוסף מסומן האם המידע הגיע מאותו ערך או משני ערכים נפרדים.
מתאים ל
- הערכת עמידות RAG
בדיקת התנהגות מודל שפה כאשר מנגנון השליפה מציג מקורות שסותרים זה את זה ישירות.
- מדידת היסק מורכב
בחינת יכולת המודל לזהות סתירות מרומזות בין שני מקורות שונים באותו נושא.
- בנצ'מרק לפרומפטים
השוואת נוסחי הנחיות שונות כדי לבדוק איך לכוון מודל להתריע על חוסר עקביות במידע.
איפה זה נופל
זהו סט מבחן קטן מאוד, 253 דוגמאות בלבד, ולא מקור לאימון מודלים. הנתונים באנגלית בלבד ומשקפים את ההטיות המובנות של עורכי ויקיפדיה, לצד סובייקטיביות מסוימת של צוות התיוג שעליה מצהירים החוקרים. אם אתם בונים מוצר בעברית, המאגר הזה לא יעזור לכם לבדיקה ישירה של השפה, אלא לכל היותר כהשראה לבניית מבחן מקומי משלכם לקונפליקטים בתוך מערכות שליפה.
שאלות
נפוצות
האם המאגר מתאים לאימון מודל שפה?
לא. עם 253 רשומות בלבד מדובר בסט בדיקה והערכה ממוקד ולא בבסיס נתונים ל־Fine-tuning. הערך שלו הוא בבחינת התנהגות של מודלים קיימים מול סתירות ב־RAG.
האם יש במאגר דוגמאות בעברית?
לא, כל הדוגמאות נאספו מוויקיפדיה באנגלית. כדי לבחון מערכת שפועלת בעברית תצטרכו לתרגם את הנתונים או לבנות סט דומה מוויקיפדיה העברית.
מותר להשתמש בדאטהסט הזה במוצר מסחרי?
כן, הרישיון הוא MIT שמתיר שימוש מסחרי ללא מגבלות מיוחדות. צריך רק להשאיר את הצהרת זכויות היוצרים והרישיון המקורי בקבצים שלכם.
מה מייחד את הדאטהסט מול מאגרי שאלות ותשובות רגילים?
הוא נבנה סביב תגיות סתירה אמיתיות של עורכי ויקיפדיה. לכל שאלה מוצמדים שני מקורות אמינים לכאורה שסותרים זה את זה ושתי תשובות נכונות נפרדות, במקום תשובה אחת חד-משמעית.
איך טוענים
המידע מופץ בקובצי CSV פשוטים וללא צורך בבקשת גישה מיוחדת, כך שטוענים אותו ישירות דרך ספריית פנדס או סקריפט פייתון בסיסי. במאגר יש גם קובץ הערכה אנושית בפורמט JSON. העמודות המרכזיות שמעניינות אתכם הן question, context1, context2 יחד עם answer1 ו־answer2, וכן contradictType שמגדיר את רמת המורכבות. שימו לב שבחלק מהשורות מופיעה יותר משאלה אחת לכל זוג פסקאות, וחלק מהשדות המשניים כמו תאריכי התגיות עלולים להיות ריקים.
from datasets import load_dataset
ds = load_dataset("ibm-research/Wikipedia_contradict_benchmark")הרישיון
המאגר פורסם ברישיון MIT חופשי. מותר להשתמש בו לצרכים מחקריים ומסחריים, להעתיק, לשנות ולשלב אותו בבדיקות של מוצרים פנימיים. הדרישה היחידה היא שמירה על הודעת זכויות היוצרים המקורית והפניה למחברים. הרישיון אינו מגביל שחרור מודלים שהוערכו בעזרתו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש