health_fact
קוד פתוחImperialCollegeLondonmit2022-03-02
המאגר מרכז מעל 12 אלף טענות בריאותיות באנגלית עם סיווגי אמינות והסברים מנומקים. הוא נבנה במיוחד כדי לאמן מודלים שלא רק קובעים אם טענה נכונה, אלא גם מסבירים את הפסיקה בטקסט חופשי.
- 1,199הורדות בחודש
- 28לייקים
מה זה
הנתונים מבוססים על בדיקות עובדות שנאספו מאתרי בדיקה מובילים כמו Snopes, PolitiFact, FactCheck.org וסוכנויות ידיעות כמו AP ורויטרס. המטרה היתה להתמקד בתחום בריאות הציבור והביורפואה, תחום שבו עיתונאי ממוצע לרוב מתקשה להכריע ללא מומחיות מקצועית.
כל רשומה במאגר כוללת טענה, תיוג של מידת האמיתות שלה באחת מארבע קטגוריות: true, false, unproven או mixture, וכן הסבר מילולי שמנמק את ההחלטה. בנוסף כולל כל פריט את הטקסט המלא של הבדיקה, תאריך הפרסום, שמות הכותבים, תגיות נושא ומקורות הראיות שעליהם הסתמכו הבודקים.
סך הכל יש כאן 12,288 דוגמאות שמחולקות מראש. סט האימון מכיל 9,832 רשומות, סט הוולידציה כולל 1,221 רשומות, וסט הבחינה מכיל 1,235 רשומות.
מתאים ל
- סיווג אמינות טענות בריאות
אימון מסווגים שמקבלים טענה רפואית באנגלית ומחזירים האם היא נכונה, שגויה, מעורבת או לא מוכחת.
- יצירת הסברים רפואיים
אימון מודלי שפה שמתמחים בנימוק החלטות עובדתיות בהתבסס על שדה ההסבר המצורף לכל רשומה.
- הערכת עמידות מודלים
בדיקת ביצועים של מודלי שפה קיימים בזיהוי פייק ניוז בריאותי בעזרת סט הבחינה המוגדר.
איפה זה נופל
הכרטיס מודה שחסר בו מידע רב לגבי הטיות, תהליך הסינון המדויק וזהות המתייגים. המאגר כולו באנגלית ומבוסס בעיקר על מקורות תקשורת אמריקאיים ובריטיים, כך שטענות או מונחים שרלוונטיים לישראל ולמערכת הבריאות המקומית כלל לא קיימים בו. בנוסף, הנתונים הוצגו בשנת 2020 ומכילים כתבות ישנות עוד משנת 2006, ולכן הם לא משקפים ידע רפואי עדכני שהשתנה מאז.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא MIT. הרישיון הזה מתיר שימוש מסחרי מלא, כולל אימון מודלים והפצתם, בתנאי שמשאירים את הודעת הרישיון המקורית. עם זאת, הטקסטים עצמם נגרדו מאתרי חדשות חיצוניים ולכן כדאי לבדוק את הסיכון המשפטי בהפצה ישירה של הטקסט המקורי.
האם המאגר תומך בעברית או מכיל נתונים מקומיים?
לא, כל המאגר בנוי על טקסטים באנגלית בלבד. המקורות הם אתרי בדיקת עובדות ועיתונות מארצות הברית ומבריטניה. כדי להשתמש בו בהקשר מקומי תצטרכו לתרגם את הנתונים או להשתמש בשיטות העברה בין שפות.
במה המאגר הזה שונה ממאגרי בדיקת עובדות כלליים?
המאגר מתמקד כולו בבריאות הציבור, תחום שבו נדרש ידע מדעי כדי להכריע ולא רק הצלבת עובדות פשוטה. בנוסף, לכל דוגמה מצורף הסבר מילולי מנומק מעבר לתיוג עצמו. זה מאפשר לחקור ולהעריך מערכות שמסבירות את התשובות שלהן ולא רק פולטות תיוג.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה ImperialCollegeLondon/health_fact בעזרת סקריפט הפייתון הקיים במאגר. המאגר קל משקל, אינו דורש הרשמה מוקדמת או אישור גישה מיוחד, והוא מחולק מראש לקובצי tsv לפי הפיצולים הרשמיים. השדות העיקריים שבהם תשתמשו הם claim עבור הקלט, label למשימת הסיווג, ו־explanation אם אתם מתכוונים לאמן מודל ליצירת נימוקים.
from datasets import load_dataset
ds = load_dataset("ImperialCollegeLondon/health_fact")הרישיון
המאגר מופץ תחת רישיון MIT. המשמעות היא שאתם רשאים להשתמש בנתונים למטרות מסחריות, לשנות אותם ולאמן עליהם מודלים ללא מגבלות שיתוף זהה, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש