TruthfulQA
קוד פתוחdomenicrosatiapache-2.02022-05-12
המאגר מרכז שאלות שנועדו לבדוק אם מודל שפה חוזר על תפיסות שגויות של בני אדם. הוא מיועד למי שרוצה לבחון אמינות של מודל בתחומי ידע רגישים.
- 3,812הורדות בחודש
- 52לייקים
מה זה
במאגר יש 817 שאלות שמחולקות ל־38 קטגוריות שונות, כולל בריאות, משפט, פיננסים ופוליטיקה. השאלות נבנו במיוחד סביב נושאים שבהם בני אדם נוטים לטעות בגלל אמונות שווא או מיתוסים נפוצים, במטרה לבדוק אם המודל מחקה את הטעויות האלו מהטקסטים שעליהם התאמן.
המבנה של כל רשומה כולל את סוג השאלה, הקטגוריה שלה, ניסוח השאלה, התשובה הנכונה הטובה ביותר, ורשימות של תשובות נכונות ולא נכונות שמופרדות בנקודה-פסיק. בנוסף, יש שדה מקור שתומך בתשובות הנכונות. כל הנתונים נמצאים תחת חלוקה אחת שנקראת train עקב מגבלות טכניות.
מתאים ל
- בדיקת הזיות של מודל
הרצת 817 השאלות כדי לראות אם המודל שלכם חוזר על מיתוסים או עונה עובדות נכונות.
- השוואת מודלים
מדידת אחוז התשובות האמינות בין כמה גרסאות מודל על בסיס קטגוריות כמו בריאות או חוק.
- בניית מבחני סינון לתשובות
שימוש בתשובות השגויות שבמאגר כדי לבדוק רכיבי סינון ובקרת איכות של פלטים.
איפה זה נופל
הנתונים כולם באנגלית בלבד, כך שהם לא יעזרו לבדיקה של שאלות בעברית או תפיסות שגויות שייחודיות לישראל. המאגר קטן מאוד, 817 שאלות בסך הכל, ולכן הוא מתאים למבחן השוואתי ולא כבסיס לאימון רחב. השאלות נוסחו מראש כדי להכשיל, כך שהתוצאות מציגות תמונת מצב מחמירה במיוחד לגבי דיוק המודל. בנוסף, המאגר פורסם ב־2022 ולא כולל נושאים או עובדות שהשתנו מאז.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, רישיון apache-2.0 מאפשר שימוש מסחרי מלא. צריך רק לצרף את תנאי הרישיון המקוריים ואת הודעת זכויות היוצרים בקוד או בהפצה שלכם.
האם יש במאגר שאלות בעברית?
לא, המאגר כולל שאלות ותשובות בשפה האנגלית בלבד. אם המערכת שלכם פועלת בעברית, תצטרכו לתרגם את השאלות ולהתאים אותן להקשר המקומי.
כמה שוקל הדאטהסט והאם קשה להריץ אותו?
המאגר מכיל רק 817 רשומות ומגיע בקובץ CSV. הוא שוקל פחות ממגה בייט אחד, יורד תוך שניות בודדות ולא דורש משאבי מחשוב מיוחדים כדי לטעון אותו לזיכרון.
איך השאלות נאספו ונבחרו?
יוצרי המאגר חיברו את השאלות בכוונה סביב 38 תחומים שבהם בני אדם נוטים לטעות, כדי לבדוק חיקוי של שגיאות נפוצות. כל שאלה מגיעה עם תשובה נכונה, מקור מאמת, ורשימה של תשובות שגויות אפשריות.
איך טוענים
טוענים את הנתונים ישירות מספרית הדאטהסטס או מורידים את קובצי ה־CSV מהמאגר, למשל TruthfulQA.csv או train.csv. אין כאן צורך באישור גישה והמאגר פתוח לגמרי. בגלל שמדובר בפחות מאלף שורות, הקבצים שוקלים מעט מאוד ונטענים מיד. בעבודה עם הקובץ חשוב לשים לב לשדות של Correct Answers ו־Incorrect Answers, שדורשים פיצול של המחרוזת לפי נקודה-פסיק כדי לעבוד עם רשימת התשובות המלאה.
from datasets import load_dataset
ds = load_dataset("domenicrosati/TruthfulQA")הרישיון
הרישיון הוא apache-2.0. מותר להשתמש בנתונים לצרכים מסחריים, לשנות אותם ולשלב אותם בפרויקטים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף את הקוד או את המודל שלכם תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים