aeslc
קוד פתוחYale-LILYunknown2022-03-02
המאגר כולל אלפי הודעות דואר אלקטרוני של עובדי חברת אנרון ומיועד ליצירת שורות נושא. הוא מתאים למי שרוצה לאמן מודל תמצות על טקסט ארגוני אמיתי ולא על מאמרי חדשות.
- 2,099הורדות בחודש
- 19לייקים
מה זה
המאגר מכיל הודעות דואר אלקטרוני שנאספו מתוך התכתובות הפנימיות של עובדי חברת אנרון, ומטרתו העיקרית היא אימון והערכה של מודלים ליצירת כותרות נושא. כל רשומה במאגר מורכבת משני שדות טקסט בלבד: גוף ההודעה ושורת הנושא שנכתבה עבורה במקור. המבנה הזה פשוט מאוד ומכוון ישירות למשימות של תמצות טקסט קצר בסביבה משרדית.
הנתונים מחולקים מראש לשלושה חלקים מוכנים לעבודה. סט האימון כולל 14,436 רשומות, סט הוולידציה מכיל 1,960 רשומות, וסט הבדיקה כולל 1,906 רשומות נוספות. מעבר לשני השדות הללו אין מטא-דאטה נוסף כמו שמות הנמענים, תאריכים או חותמות זמן, והכרטיס אינו מפרט תהליכי סינון או ניקוי שבוצעו על המידע הגולמי שנאסף.
מתאים ל
- יצירת שורת נושא למייל
אימון מודל שמציע כותרת תמציתית באופן אוטומטי על בסיס הטקסט המופיע בגוף המייל.
- בנצ'מרק לתמצות קצר
בדיקה והשוואה של ביצועי מודלי שפה על משימות תמצות של טקסט ארגוני באנגלית.
- ניתוח תכתובות עבודה
מחקר על דפוסי תקשורת, אורך הודעות ומבנה ניסוחים באימיילים עסקיים.
איפה זה נופל
ההודעות מגיעות כולן מעובדי אנרון מתחילת שנות האלפיים, ולכן הטקסט מציג סגנון כתיבה ארגוני ישן, מונחים מתחום האנרגיה והפיננסים, ותרבות תאגידית אמריקאית מאוד ספציפית. השפה היא אנגלית בלבד, בעיקר אמריקאית, בלי שום כיסוי לעברית או לשפות נוספות. מעבר לכך, הכרטיס לא מספק מידע על ניקוי פרטים מזהים או מידע אישי ורגיש, כך שחובה לסרוק את הנתונים ידנית לפני שמשלבים אותם במערכת שמשרתת משתמשים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
הרישיון מוגדר כלא ידוע, ולכן אין אישור רשמי להשתמש במידע במוצרים מסחריים. מומלץ לבדוק את המאגר המקורי בגיטהאב או את המאמר האקדמי שפורסם לפני שמשלבים אותו במערכת אמיתית. שימוש ללא רישיון ברור חושף אתכם לסיכון משפטי.
כמה מקום המאגר תופס על הדיסק?
ההורדה של הקבצים דורשת 11.64 מגה בייט בלבד. אחרי פריסת הנתונים המאגר מגיע לנפח של כ־14.95 מגה בייט, ובסך הכל הוא תופס 26.59 מגה בייט על הדיסק. מדובר בנפח קטן מאוד שנטען במהירות בכל מחשב.
האם יש במאגר תמיכה בעברית?
אין במאגר טקסט בעברית. כל הנתונים מבוססים על אימיילים פנימיים שנכתבו באנגלית, בעיקר אנגלית אמריקאית של סביבת עבודה משרדית. אם אתם מחפשים לאמן מודל שמטפל בהודעות בעברית, המאגר הזה לא יעזור לכם.
מה מקור ההודעות שמופיעות במאגר?
הנתונים נלקחו מתוך תכתובות האימייל של חברת אנרון שפורסמו בעבר לציבור בעקבות החקירות המשפטיות נגדה. החוקרים חילקו את ההודעות לגוף המייל ולשורת הנושא כדי להגדיר משימת למידה של יצירת כותרת. שאר פרטי האימייל המקוריים הוסרו מהקבצים.
איך טוענים
טוענים את המאגר ישירות בספריית הדאטהסטס בלי צורך בבקשת אישור גישה מראש. הקבצים מגיעים בפורמט פרקט ושוקלים 11.64 מגה בייט להורדה, כך שהתהליך לוקח שניות בודדות ולא דורש משאבי אחסון חריגים או כרטיס גרפי ייעודי. לאחר הפריסה המקומית המאגר תופס 14.95 מגה בייט, ובסך הכל כ־26.59 מגה בייט על הדיסק. שני השדות היחידים שקיימים בכל הדגימות הם גוף המייל ושורת הנושא, כך שלא נדרש עיבוד מוקדם כדי להיפטר מעמודות מיותרות.
from datasets import load_dataset
ds = load_dataset("Yale-LILY/aeslc")הרישיון
הרישיון של המאגר מוגדר כלא ידוע. המשמעות היא שאין לכם שום הרשאה מפורשת לשימוש מסחרי, ייחוס, או הפצה של מודלים שאומנו עליו. אם אתם בונים מוצר מסחרי, לא כדאי להסתמך על הנתונים האלה עד שיוסדר מעמדם המשפטי.