climate_fever
קוד פתוחtdiggelmunknown2022-03-02
המאגר מרכז טענות אמיתיות מהרשת סביב שינויי אקלים עם ראיות מוויקיפדיה לבדיקת עובדות. הוא מיועד למי שבונה או בודק מערכות אימות טענות במקרים מורכבים ושנויים במחלוקת.
- 1,630הורדות בחודש
- 31לייקים
מה זה
הנתונים כוללים 1,535 טענות מהאינטרנט בנושאי אקלים. לכל טענה צורפו חמישה משפטי ראיה שנשלפו ידנית מתוך ויקיפדיה באנגלית, כך שבסך הכל יש כאן 7,675 זוגות של טענה וראיה.
מבנה הרשומה כולל מזהה טענה, הטקסט שלה, ותווית מסכמת שנקבעה לפי רוב הקולות: תמיכה, הפרכה, חוסר מידע או מחלוקת. בנוסף, כל רשומה מחזיקה רשימת ראיות עם כותרת הערך מוויקיפדיה, משפט הראיה עצמו, תווית פרטנית, הצבעות הבודקים ומדד אנטרופיה שמשקף את רמת אי הוודאות של התיוג.
המאגר מגיע כרגע בחלוקה אחת בלבד של מבחן (test). אין כאן חלוקה מובנית לאימון או ולידציה, מה שמגדיר אותו מראש ככלי להערכת ביצועים ולא כמשאב לאימון מלא מאפס.
מתאים ל
- הערכת מודלי אימות עובדות
בדיקת ביצועים של מודלים קיימים על טענות אקלים מורכבות בעזרת חלוקת המבחן המוכנה.
- שליפת מידע וויקיפדיה
בחינת מנועי אחזור ובדיקה אם הם מסוגלים לאתר את משפט הראיה הנכון מתוך הערך הרלוונטי.
- התמודדות עם טענות שבמחלוקת
כיול מודלים לזיהוי חוסר ודאות וקונפליקטים בטקסט באמצעות שדות האנטרופיה וההצבעות.
איפה זה נופל
המאגר כולו באנגלית ומתבסס אך ורק על ויקיפדיה האנגלית כמקור יחיד לראיות, מה שמשאיר אותו חסר תועלת לחלוטין למי שמחפש מקורות בעברית או שיח מקומי. בנוסף, החוקרים לא פירטו בכרטיס את אופן איסוף הטענות, תהליך הסינון או זהות המתייגים. העובדה שיש רק ספליט של טסט מקשה מאוד על שימוש בו לאימון, ומקרים שמוגדרים תחת מחלוקת ידרשו מכם להחליט מראש איך המודל אמור להתמודד עם תוויות סותרות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתמך עליו למוצר מסחרי כרגע. הרישיון מסומן כלא ידוע ואין פרטים משפטיים בכרטיס, כך שאין היתר שימוש ברור.
האם יש בדאטהסט נתונים בעברית?
אין בכלל עברית. כל הטענות נאספו באנגלית וכל הראיות מגיעות מוויקיפדיה באנגלית בלבד.
כמה שוקל המאגר והאם צריך לחכות לאישור גישה?
המאגר פתוח לחלוטין להורדה מיידית בלי הרשמה. הוא מכיל קובץ parquet יחיד עם 1,535 רשומות, כך שמדובר במשקל אפסי שיורד תוך שניות.
האם אפשר לאמן עליו מודל סיווג מאפס?
המאגר מגיע רק עם פיצול מסוג test, ללא ספליטים של אימון ואימות. הוא נבנה כבנצ'מרק להערכה ולא כמערך אימון, אלא אם תחליטו לפצל את הדוגמאות בעצמכם.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה tdiggelm/climate_fever. הנתונים שמורים בקובץ parquet יחיד תחת תיקיית data, כך שההורדה קטנה מאוד ואין צורך בהרשאות גישה מיוחדות או אישור מוקדם. בעבודה עם השדות, שימו לב שהשדה evidences מחזיר רשימה של אובייקטים מקוננים, וצריך לפרק אותם אם רוצים להריץ מודל סיווג סטנדרטי על זוגות של משפטים.
from datasets import load_dataset
ds = load_dataset("tdiggelm/climate_fever")הרישיון
הרישיון של המאגר מוגדר כ־unknown, ובכרטיס אין שום פירוט על תנאי השימוש. המשמעות היא שאין הרשאה ברורה להשתמש בו לצרכים מסחריים, ואי אפשר לדעת מה ההשלכות על מודל שתאמנו עליו. אם אתם מתכננים מוצר מסחרי, מומלץ לפנות ליוצרים שמופיעים במאמר או להימנע משימוש.