fake_news
קוד פתוחGonzaloAרישיון לא דווח2022-03-02
מאגר שמקבץ עשרות אלפי כתבות חדשות באנגלית שמסווגות כאמיתיות או שקריות. הוא מיועד למי שמחפש נקודת התחלה פשוטה לאימון מודל טקסט לזיהוי פייק ניוז.
- 1,033הורדות בחודש
- 28לייקים
מה זה
הנתונים כוללים טקסטים של כתבות חדשות באנגלית אמריקאית, שכל אחת מהן מתויגת ככתבה אמיתית עם הערך אחת או מזויפת עם הערך אפס. בכל רשומה יש מזהה מספרי, כותרת, את גוף הטקסט המלא ואת התווית הבינארית. בסך הכל התיעוד מדווח על 40,587 רשומות, למרות שבטקסט הפתיחה המחבר מציין קצת מעל 45,000 כתבות ייחודיות.
התוכן נאסף מערבוב של כמה מאגרי פייק ניוז ציבוריים מפלטפורמת Kaggle, והועבר עיבוד באמצעות ספריית pandas בפייתון. אין פירוט בכרטיס לגבי שמות המאגרים המדויקים שנלקחו מקגל, וחסר כל מידע על תהליך הסינון או הבדיקה הידנית של התוויות. החלוקה המוכנה מראש מפרידה את הנתונים לשלושה חלקים מסודרים: 24,353 רשומות לאימון, 8,117 לאימות ו־8,117 למבחן.
מתאים ל
- אימון מסווג טקסט
אימון מודל שפה לזיהוי כותרות וכתבות מזויפות באנגלית לפי תיוג בינארי פשוט.
- הערכת ביצועי מודל
בדיקת דיוק של מודלי שפה על סט מבחן מוכן שמחולק מראש בלי צורך בפיצול ידני.
- ניסויי מחקר ולימוד
תרגול משימות סיווג טקסט וארכיטקטורות טרנספורמרים לצורכי לימוד ומחקר אקדמי.
איפה זה נופל
הכרטיס משאיר את רוב הסעיפים הקריטיים ריקים תחת הכותרת שדרוש מידע נוסף, כך שאין שום דיווח מתועד על הטיות בנתונים, מידע רגיש או שיטת התיוג המקורית. הטקסט כולו באנגלית של ארצות הברית, והוא פורסם בתחילת 2022 כחלק מעבודת גמר אקדמית, כך שאין בו כיסוי לאירועים אקטואליים או לתוכן מקומי. לא הייתי מכניס מודל כזה למוצר בלי בדיקה עצמאית של איכות התוויות והסרת כפילויות, בטח כשמקור הנתונים הוא אוסף בלתי מפורט מקגל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון של המאגר מוגדר כלא ידוע בכרטיס, ולא צוינו תנאי שימוש ברורים. בנוסף, מדובר באיחוד כתבות ממאגרים שונים ברשת שמצב זכויות היוצרים שלהן לא מוסדר. בגלל חוסר הוודאות המשפטי, לא מומלץ לבסס עליו מוצר מסחרי.
האם יש במאגר תוכן או כתבות בעברית?
המאגר מוגדר באופן חד משמעי כחד לשוני ומכיל טקסטים באנגלית אמריקאית בלבד. אין בו ייצוג לשפה העברית או לאירועים מהזירה המקומית בישראל. אם אתם צריכים לזהות פייק ניוז בעברית, הנתונים האלה לא יעזרו לכם.
איך נאספו הכתבות ומי תייג אותן?
היוצר מציין שהנתונים אוחדו מכמה מאגרי פייק ניוז ציבוריים שהועלו בעבר לפלטפורמת Kaggle, ועובדו באמצעות פייתון. עם זאת, אין תיעוד של שמות המאגרים המקוריים, מי האנשים שבדקו את העובדות, או מה היו הקריטריונים לקביעת אמינות הדיווח.
באיזה פורמט הקבצים מגיעים ואיך ניגשים אליהם?
המאגר מכיל קובצי Parquet מוכנים לטעינה מהירה, לצד קובצי CSV מקבילים לכל חלוקה. אין צורך בבקשת הרשאה מיוחדת, ואפשר להוריד את הנתונים ישירות דרך הספרייה או מהעמוד של המאגר.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות המזהה GonzaloA/fake_news בלי צורך באישור גישה מראש. הקבצים זמינים גם בפורמט Parquet וגם בקובצי CSV נפרדים לכל אחד מהחלקים. השדות שמעניינים אתכם בזמן העבודה הם title ו־text בתור קלט למודל, והשדה label כיעד לחיזוי.
from datasets import load_dataset
ds = load_dataset("GonzaloA/fake_news")הרישיון
הרישיון של המאגר מוגדר כלא ידוע, והמחבר לא ציין תנאי שימוש כלשהם. במצב כזה אין אישור להשתמש בנתונים לפעילות מסחרית, וקיימת אי בהירות משפטית לגבי זכויות היוצרים של הכתבות המקוריות שנאספו. שימוש במודל שאומן על המאגר הזה עלול לחשוף אתכם לסיכון משפטי, ולכן הוא מתאים כרגע למחקר בלבד.