gazeta
קוד פתוחIlyaGusevunknown2022-03-02
מאגר כתבות ותקצירים מובנים ברוסית מאתר החדשות Gazeta. הוא נבנה במיוחד לאימון מודלים של סיכום טקסט, תחום שבו כמעט ואין משאבים פתוחים בשפה הזו.
- 1,740הורדות בחודש
- 29לייקים
מה זה
המאגר כולל עשרות אלפי רשומות המורכבות מכתבה עיתונאית מלאה לצד תקציר. כל רשומה כוללת את גוף הטקסט, תקציר שנמשך מתגית התיאור בדף המקורי, כותרת, תאריך וכתובת קישור. בממוצע, כתבה מכילה 767 טוקנים בכ־37 משפטים, והתקציר הנלווה אליה מחזיק כ־50 טוקנים בשלושה משפטים בלבד.
המקור הבלעדי לכל הנתונים הוא אתר החדשות הרוסי Gazeta, והטקסטים נכתבו בידי העיתונאים של האתר. היוצר ביצע סינון נוסף כדי לוודא שאיכות התקצירים תקינה ולא מדובר בפסולת תגיות.
הנתונים מחולקים מראש לשלושה חלקים עבור אימון, בדיקה ואימות. יש שתי גרסאות שונות של המאגר, כאשר בגרסה הראשונה יש 52,400 דוגמאות אימון, 5,265 לאימות ו־5,770 למבחן, ובגרסה השנייה המספרים גדלו ל־60,964 באימון, 6,369 באימות ו־6,793 לבדיקה.
מתאים ל
- אימון מודלי סיכום ברוסית
התאמה של מודלי שפה למשימת סיכום חדשות קצר מתוך כתבות מלאות בשפה הרוסית.
- הערכת ביצועי מודלים
הרצת מבחני השוואה ומדדי הערכה על חלוקת הבדיקה הרשמית לפי הסטנדרט המקובל.
- מחקר אקדמי בעיבוד שפה
ניתוח יכולות הפשטת טקסט וסגנון עיתונאי במחקרים שלא למטרות רווח.
איפה זה נופל
הבעיה המרכזית היא שהמידע כולו מגיע מאתר חדשות בודד, Gazeta. המשמעות היא סגנון כתיבה עיתונאי צר, אוצר מילים ספציפי ונקודת מבט אחידה על אירועים ונושאים. מעבר לזה, המאגר מוגבל לשפה הרוסית בלבד ולא יעזור לשום שפה אחרת, כולל עברית. הנתונים גם אינם אנונימיים, כך שמופיעים בהם שמות אמיתיים של אנשים שנכחו בחדשות, אם כי שמות העיתונאים שכתבו אותם לא נשמרו.
שאלות
נפוצות
האם מותר להשתמש במאגר הזה לפרויקט מסחרי?
לא. היוצר מפנה לתנאי האתר המקורי, שמתירים שימוש אישי ולא מסחרי בלבד. מודל שיאומן עליו לא יוכל להימכר כמוצר סגור.
האם יש במאגר טקסטים בעברית?
לא, אין בו עברית בכלל. כל הכתבות והתקצירים נאספו מאתר חדשות רוסי ונכתבו ברוסית בלבד.
איך נאספו התקצירים של הכתבות?
הטקסטים והתקצירים נאספו ישירות מקוד ה־HTML של הכתבות, כאשר התקציר נשלף מתוך תגית המטא של התיאור. לאחר מכן עבר המידע סינון נוסף כדי לנפות תוכן לא מתאים.
באיזו גרסה של המאגר כדאי להשתמש?
גרסה 2 גדולה יותר ומכילה כמעט שבעים וחמישה אלף רשומות בסך הכל לעומת שישים ושלושה אלף בגרסה 1. ברוב המקרים עדיף להשתמש בגרסה החדשה, אלא אם כן אתם רוצים לשחזר ניסוי שהתבסס על הגרסה הישנה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset רגילה עם שם המאגר. צריך רק לציין בפרמטר revision אם רוצים לטעון את גרסה v1.0 או גרסה v2.0. אין כאן שום צורך באישור גישה מראש או בהגדרת טוקנים, המאגר פתוח להורדה ישירה. הקבצים עצמם שמורים בפורמט Parquet בחלוקה לתיקיות לפי החלקים, והשדות המרכזיים לעבודה הם שדה הטקסט ושדה הסיכום.
from datasets import load_dataset
ds = load_dataset("IlyaGusev/gazeta")הרישיון
הרישיון הרשמי מוגדר כלא ידוע במערכת, אבל יוצר המאגר מבהיר בפירוש שכל הזכויות שייכות לאתר Gazeta. לפי תנאי השימוש שלהם המצוטטים בכרטיס, מותר להשתמש במידע למטרות אישיות ושאינן מסחריות בלבד. לכן אסור להשתמש במאגר כדי לאמן מודלים מסחריים או לשלב אותו במוצר עסקי.