liar
קוד פתוחucsbaiunknown2022-03-02
המאגר מרכז הצהרות פוליטיות קצרות עם סיווג רמת האמינות שלהן. הוא מיועד למי שרוצה לאמן או לבחון מודלים לזיהוי פייק ניוז על סמך בדיקות עובדתיות אנושיות.
- 1,756הורדות בחודש
- 33לייקים
מה זה
הנתונים כוללים 12.8 אלף הצהרות קצרות שנמשכו ישירות מהממשק של אתר בדיקת העובדות PolitiFact. כל הצהרה נבדקה באופן ידני על ידי עורכי האתר, שקבעו לה ציון אמינות וצירפו דוח ניתוח מפורט שמנמק את ההחלטה. הטקסטים מייצגים התבטאויות פוליטיות מהשיח הציבורי בארצות הברית, והם משמשים בעיקר למשימות סיווג טקסט ברמת המשפט.
חלוקת התוויות במאגר מאוזנת יחסית, למעט קטגוריית הקיצון של שקרים מוחלטים המכונה pants on fire, שכוללת 1,050 מקרים בלבד. שאר דרגות האמת והשקר נעות בטווח שבין 2,063 ל־2,638 דוגמאות לכל קטגוריה. המבנה הזה מאפשר לבחון מודלים על סולם אמינות רב שלבי, ולא רק בהפרדה פשוטה של נכון או לא נכון.
מתאים ל
- זיהוי חדשות כוזבות
אימון מודלים שמסווגים טענות פוליטיות קצרות לפי רמת אמינות מרובת דרגות.
- הערכת ביצועי מודלים
בחינת יכולת ההכללה של מודלי שפה על בדיקת עובדות מדויקת ומנומקת.
- ניתוח נימוקי עובדות
למידה מתוך דוחות הניתוח המצורפים כדי להבין כיצד מנומקת קביעת אמינות.
איפה זה נופל
כל הטקסטים נאספו באנגלית בלבד ומבוססים על המערכת הפוליטית האמריקאית, כך שאין כאן שום כיסוי לעברית או לזירה המקומית בישראל. הנתונים מתבססים על המאמר שפורסם בשנת 2017, ולכן טענות, דמויות ואירועים מהשנים האחרונות לא קיימים בו. בנוסף, הכרטיס אינו מפרט את תהליך הסינון או הטיות אפשריות של הבודקים. לפני שמשלבים מודל כזה במערכת חיה, חייבים לזכור שסגנון השקרים של פוליטיקאים שונה מתוכן מטעה ברשתות החברתיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון הרשמי מוגדר כלא ידוע ואין פרטים על תנאי השימוש בכרטיס המאגר. מבחינה משפטית זה אומר שאין לכם הרשאה מפורשת למסחור, ומומלץ להגביל את השימוש למחקר בלבד.
האם יש במאגר נתונים בעברית?
לא, כל ההצהרות ודוחות הבדיקה נאספו באנגלית בלבד. אם המטרה שלכם היא טיפול בטקסטים מקומיים, תצטרכו לתרגם את הנתונים או לבנות מאגר ייעודי מאתרי בדיקת עובדות בישראל.
איך נאספו התוויות של הדאטהסט?
התוויות נלקחו ישירות מהעורכים של אתר PolitiFact דרך ממשק ה־API שלהם. כל הצהרה קיבלה סיווג אנושי יחד עם טקסט ניתוח מפורט שמסביר את פסק הדין.
כמה מקום המאגר תופס בהורדה?
המאגר קטן מאוד ומכיל 12.8 אלף משפטים קצרים בלבד בשלושה קבצים. ההורדה והטעינה שלו לוקחות שניות בודדות ולא דורשות משאבי אחסון מיוחדים.
איך טוענים
אתם טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה הרשמי, ללא צורך בהרשמה מוקדמת או בקשת אישור גישה. המאגר עצמו קל מאוד וכולל שלושה קבצים בלבד, ביניהם סקריפט הטעינה liar.py וקובץ התיעוד. בפועל אתם עובדים מול טקסט ההצהרה, תווית האמינות שהוענקה לה, ודוח הניתוח שמסביר את הבדיקה של עורכי האתר. כדאי לשים לב שהכרטיס אינו מפרט את אופן חלוקת הנתונים המובנית לקבוצות אימון ובדיקה.
from datasets import load_dataset
ds = load_dataset("ucsbai/liar")הרישיון
הרישיון של המאגר מוגדר כלא ידוע, וכרטיס המידע אינו מציין תנאי שימוש כלשהם. במצב כזה אין אישור מפורש לשימוש מסחרי, ואי אפשר לדעת אם מותר להפיץ מודל שאומן עליו. כל עוד הסטטוס המשפטי לא מוסדר ישירות מול היוצרים, השימוש בטוח למחקר אקדמי בלבד.