wiki_bio_gpt3_hallucination
קוד פתוחpotsaweecc-by-sa-3.02023-03-18
המאגר מרכז פסקאות ביוגרפיות שיצר מודל שפה ישן לצד תיוג אנושי של הזיות ברמת המשפט. מי שבונה מנגנון לזיהוי בדיות של מודלים ימצא כאן סט בדיקה ממוקד.
- 916הורדות בחודש
- 30לייקים
מה זה
החוקרים לקחו שמות של אישים מתוך סט המבחן של WikiBio, והזינו אותם למודל text-davinci-003 של OpenAI תחת פרומפט אחיד. המטרה הייתה לייצר פסקאות דמויות ויקיפדיה ולראות איפה המודל ממציא עובדות. הטקסט שנוצר פוצל למשפטים באמצעות spacy, וכל משפט תויג ידנית לאחת משלוש קטגוריות: מדויק, אי דיוק קל, או אי דיוק מהותי.
כל רשומה כוללת את הטקסט המקורי של ויקיפדיה, הפסקה שפלט המודל, רשימת המשפטים המפוצלת והתיוג האנושי שלהם. בנוסף, החוקרים צירפו לכל רשומה עשרים דגימות טקסט נוספות שנוצרו באותה צורה עם טמפרטורה 1.0. המאגר כולל 238 מזהים מתויגים שהתווספו בכמה פעימות עד מאי 2023, כחלק ממחקר SelfCheckGPT.
מתאים ל
- הערכת גלאי הזיות
מדידת הדיוק של אלגוריתמים לזיהוי בדיות מול תיוג אנושי ברמת המשפט הבודד.
- בדיקת שיטות עקביות
ניצול עשרים הדגימות של כל ערך כדי לבחון אלגוריתמים שמודדים דמיון בין פלטים שונים.
- בנצ'מרק מהיר למערכות בדיקה
הרצת סט בדיקה קל משקל שרץ בשניות ומאמת שהקוד שלכם מזהה סילוף עובדות.
איפה זה נופל
זה לא מאגר לאימון מודלים רחבים, אלא סט הערכה קטן מאוד של 238 דוגמאות בלבד. הנתונים כולם באנגלית ועוסקים רק בביוגרפיות קצרות בסגנון ויקיפדיה, כך שאין כאן ייצוג לתחומים טכניים, שיחות או עברית. בנוסף, הטקסטים הופקו על ידי text-davinci-003 בתחילת 2023. מודלים מודרניים מתנהגים אחרת, ודפוסי ההזיה שלהם עשויים להיות שונים ממה שתועד כאן.
שאלות
נפוצות
האם יש בדאטהסט הזה תוכן בעברית?
לא, המאגר כולל אך ורק טקסטים באנגלית שנלקחו מוויקיפדיה והופקו על ידי המודל. אין בו שום ייצוג לשפות אחרות. אם אתם מחפשים לבדוק הזיות בעברית, תצטרכו לתרגם את הנתונים או לבנות סט ייעודי.
האם אפשר להשתמש בו למוצר מסחרי?
הרישיון הוא CC-BY-SA 3.0, שאינו אוסר על מסחור אך מחייב ייחוס ושיתוף תחת תנאים זהים. אם אתם רק מעריכים מערכת פנימית זה פחות בעייתי, אך הפצת תוצר שמבוסס ישירות על הדאטהסט תחייב שחרור שלו באותו רישיון. חברות לרוב נזהרות מאימון ישיר על נתונים כאלה.
כמה שוקל המאגר וכמה רשומות יש בו?
מדובר במאגר זעיר במיוחד שמכיל 238 רשומות מתויגות בלבד, כך שהוא שוקל מגה בייטים בודדים. הוא יורד למחשב כמעט מיד ולא דורש משאבי זיכרון או אחסון מיוחדים. גודל כזה מתאים לבדיקות מהירות, אך אינו מספיק לאימון מודל מאפס.
איך נאספו ותויגו הנתונים בפועל?
החוקרים הריצו את מודל text-davinci-003 של OpenAI על שמות מתוך מאגר WikiBio. לאחר מכן הם חילקו את הפסקאות למשפטים בעזרת כלי spacy. מעריכים אנושיים בדקו כל משפט מול המקור בוויקיפדיה ותייגו אותו כמדויק, אי דיוק קל או אי דיוק חמור.
איך טוענים
טוענים את המאגר ישירות מתוך Hugging Face בעזרת ספריית datasets, בלי צורך בבקשת גישה מיוחדת או באישור. הקבצים שמורים בפורמט Parquet וגם כקובץ JSON בודד. הנפח זעיר וכולל פחות מאלף רשומות, כך שההורדה מסתיימת בשניות ספורות. השדות הקריטיים לעבודה הם gpt3_sentences לצד annotation בשביל הבדיקה, ורשימת הדגימות הנוספות בתוך gpt3_text_samples אם אתם מריצים אלגוריתם שדורש עקביות בין פלטים.
from datasets import load_dataset
ds = load_dataset("potsawee/wiki_bio_gpt3_hallucination")הרישיון
הרישיון הוא CC-BY-SA 3.0, מה שאומר שמותר להשתמש בנתונים כולל שימוש מסחרי, אבל חובה לתת קרדיט ליוצרים. המלכוד העיקרי מגיע מסעיף השיתוף הזהה: אם תשנו, תרחיבו או תבנו נגזרת ישירה מהדאטהסט, תצטרכו להפיץ אותה תחת אותו רישיון בדיוק. מודל שאומן עליו ישירות עשוי להיות מושפע ממגבלות אלה, ולכן כדאי להתייעץ משפטית לפני שילוב שלו במוצר סגור.