news-summary
קוד פתוחargillacc-by-nc-4.02022-12-07
מאגר שמציע כתבות חדשות באנגלית לצורך אימון מודלים לתמצות טקסט. הוא מתאים למי שרוצה לבדוק יכולות סיכום על טקסטים שמקורם בזיהוי פייק ניוז.
- 402הורדות בחודש
- 41לייקים
מה זה
המאגר מבוסס על דאטהסט מקורי מקגל שנועד בכלל למשימות סיווג של חדשות אמיתיות ומזויפות, מתוך מחקרים שפורסמו בשנים 2017 ו־2018 על זיהוי ספאם ודיסאינפורמציה. המפרסמים לקחו את הנתונים האלה והעמידו אותם כאתגר לתמצות כתבות במקום סיווג רגיל, כך שהרשומות מורכבות ממאמרי חדשות באנגלית. היקף הנתונים עומד על בין עשרת אלפים למאה אלף רשומות בסך הכל.
הכרטיס לא מפרט אילו שלבי סינון וניקוי בוצעו בפועל על הטקסטים לפני שהועלו לכאן, ומפנה ישירות לקובץ המקורי של חדשות אמיתיות מתוך המאגר בקגל. החלוקה הפנימית של הקבצים כוללת פיצול מובנה לחלק אימון וחלק בדיקה, שנשמרו בפורמט קבצים מודרני כדי לאפשר עבודה ישירה מול מודלים קיימים.
מתאים ל
- אימון מודלי תמצות
ניסויים ובדיקות של ארכיטקטורות שונות לתמצות כתבות חדשות באנגלית.
- הערכת ביצועי סיכום
שימוש בחלק הבדיקה כדי להעריך מדדי איכות סיכום על טקסט עיתונאי.
- מחקר אקדמי בתחום החדשות
ניתוח מבנה כתבות ותקצירים במסגרת פרויקטים לימודיים או מחקריים ללא כוונת רווח.
איפה זה נופל
הבעיה המרכזית היא חוסר תיעוד חמור. הדאטהסט לא מפרט את מבנה השדות, אין תיעוד של הטיות, והוא מוגבל לאנגלית בלבד. בנוסף, המקור מגיע ממחקרים שנערכו ב־2017 ו־2018 סביב פייק ניוז, כך שהסגנון והתוכן ישנים יחסית ועשויים לכלול מלל בעייתי. לא הייתי מכניס מודל שאומן עליו ישירות למוצר בלי בדיקה מעמיקה של איכות הסיכומים שנוצרים.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
לא. הרישיון הוא רישיון לא מסחרי, ולכן הוא מיועד לשימוש אקדמי, לימודי או למחקר פנימי בלבד. כל שילוב שלו במוצר מסחרי מפר את תנאי השימוש.
האם המאגר כולל כתבות בעברית?
לא, הנתונים הם באנגלית בלבד. אם אתם מחפשים מקורות לתמצות טקסטים מקומיים או בשפות אחרות, המאגר הזה לא רלוונטי עבורכם.
מאיפה הכתבות נאספו במקור?
הנתונים נלקחו ממאגר קגל שמיועד לזיהוי פייק ניוז, ומבוססים על שני מאמרים אקדמיים שפורסמו בשנים 2017 ו־2018. המפרסם הנוכחי הסב אותם לשימוש עבור משימות תמצות.
כמה מקום המאגר תופס במחשב?
המשקל המדויק לא מצוין בכרטיס, אך יש בו בין עשרת אלפים למאה אלף שורות שנשמרות בשני קובצי פרקט דחוסים. מדובר בנפח קטן שנטען בקלות ובמהירות בכל סביבת עבודה.
איך טוענים
הטעינה מתבצעת ישירות מתוך המאגר הציבורי, בלי צורך בטפסי הרשמה או בקשת אישור גישה מראש. הנתונים מחולקים מראש לקובצי אימון ובדיקה בפורמט פרקט, שמכילים את כלל הרשומות בשני קבצים עיקריים שמוכנים לעיבוד. לא מדווח כאן נפח האחסון המדויק במגה בייטים, אבל מדובר בכמה עשרות אלפי שורות שמסתכמות בנפח קטן יחסית שכל מחשב פיתוח מודרני מריץ בלי בעיה. לפני שמתחילים להריץ אימון, כדאי לבדוק בקוד מהם שמות העמודות המדויקים של גוף הכתבה והתקציר, מאחר שהתיעוד חסכוני מאוד ולא מפרט את הסכמה במפורש.
from datasets import load_dataset
ds = load_dataset("argilla/news-summary")הרישיון
הרישיון הוא מסחרי שלילי מסוג קריאייטיב קומונס, מה שאומר שאסור להשתמש בנתונים האלה לכל מטרה עסקית או רווחית. הוא דורש מתן קרדיט מלא ליוצרים, ומונע הפצה של מודלים מסחריים שאומנו על גביו. אם אתם בונים כלי למחקר אישי או אקדמי זה בסדר, אבל לחברות וסטארטאפים אסור לגעת בו.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא