gov_report
קוד פתוחlaunchcc-by-4.02022-05-22
דוחות מחקר ממשלתיים ארוכים עם תקצירים שנכתבו בידי מומחים. המאגר מתאים למי שבונה מודלים לתקצור מסמכים כבדים שדורשים הבנה של הקשר רחב.
- 1,697הורדות בחודש
- 14לייקים
מה זה
המאגר כולל דוחות רשמיים שנכתבו על ידי שני גופים ממשלתיים בארצות הברית: ה־CRS, שהוא שירות המחקר של הקונגרס, ומשרד מבקר המדינה האמריקאי, ה־GAO. כל רשומה מורכבת מהדוח המלא ומתקציר תואם שנכתב במקור בידי עורכי אותם גופים. בניגוד למאגרי תקצור שמבוססים על כתבות חדשותיות, הטקסטים והתקצירים כאן ארוכים משמעותית ומחייבים מעקב אחרי כמות גדולה של פרטים לאורך המסמך.
מבחינת חלוקה, יש במאגר 17,519 דוגמאות באימון, 974 בוולידציה ו־973 בטסט. הנתונים זמינים בשלוש תצורות: טקסט רגיל, טקסט שכולל גם את פסקת ההמלצות של ה־GAO בתוך התקציר, ותצורה מבנית ששומרת על חלוקת המסמך והתקציר לפסקאות, כותרות סעיפים ורמות עומק היררכיות.
מתאים ל
- אימון תקצור מסמכים ארוכים
פיתוח מודלים שמתמודדים עם חלונות הקשר גדולים ודוחות מרובי עמודים באנגלית.
- הערכת ביצועי מודלי שפה
בדיקת יכולת המודל לחלץ נקודות מפתח מתוך מסמך מורכב ללא אובדן הקשר.
- תקצור מבוסס מבנה סעיפים
שימוש בתצורת structure כדי לאמן מערכות שמבינות היררכיית כותרות ופסקאות.
איפה זה נופל
כל הטקסטים מגיעים מגופים פדרליים בארצות הברית, כך שהסגנון יבש, משפטי ובירוקרטי מאוד. זה לא מייצג שפה טבעית יומיומית, שיחות או טקסטים עסקיים קצרים. אין במאגר עברית בכלל, הוא כולו באנגלית. מעבר לכך, הכרטיס המקורי לא מפרט כיצד סוננו הדוחות, אילו שנים הם מכסים, או מה ההטיות הפוליטיות והנושאיות שיש בחומר. מי שבונה מוצר למסמכים קצרים יקבל כאן אימון יתר על טקסטים ארוכים שלא יתאים למשימה שלו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון CC BY 4.0 מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או מוצרים שנמכרים ללקוחות. הדרישה העיקרית היא מתן קרדיט ליוצרי המאגר.
האם הדאטהסט כולל תמיכה בעברית?
לא. כל הדוחות והתקצירים במאגר נכתבו באנגלית בלבד על ידי סוכנויות מחקר אמריקאיות. הוא לא רלוונטי לאימון מודלים לתקצור ישיר של מסמכים בעברית.
במה הוא שונה ממאגרי תקצור נפוצים אחרים?
מרבית מאגרי התקצור מבוססים על כתבות חדשות קצרות כמו CNN או Daily Mail. כאן מדובר בדוחות ממשלתיים ארוכים ומורכבים, והתקצירים עצמם ארוכים ומנוסחים ברמה מקצועית גבוהה.
איך מחולקים הקבצים בפועל?
הנתונים מחולקים מראש לקובצי אימון, ולידציה ובדיקה עבור שני המקורות, CRS ו־GAO. יש בסך הכל מעל 19 אלף רשומות, והן נגישות ישירות כקובצי jsonl או דרך הסקריפט הייעודי.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות המזהה launch/gov_report, ללא צורך באישור גישה מוקדם או מפתח. המאגר מאוחסן בקובצי jsonl לפי החלוקות השונות. בעת הטעינה אפשר לבחור את התצורה הרצויה דרך פרמטר השם, כאשר ברירת המחדל היא plain_text שמחזירה את השדות id, document ו־summary. אם אתם צריכים את מבנה הפסקאות והכותרות, מגדירים את התצורה structure. גרסת ברירת המחדל היא 1.0.1, שמנקה רווחים מיותרים ביחס לגרסה הראשונית שפורסמה עם המאמר המקורי.
from datasets import load_dataset
ds = load_dataset("launch/gov_report")הרישיון
הרישיון הוא CC BY 4.0. אפשר להשתמש בנתונים לצרכים מסחריים, לשנות אותם ולאמן עליהם מודלים בלי חובת שיתוף של התוצרים באותו הרישיון. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס