multi_lexsum
קוד פתוחallenaiodc-by2022-08-03
המאגר כולל 9,280 סיכומי תביעות זכויות אזרח אמריקאיות, שנכתבו ונבדקו בידי משפטנים. החוזק שלו הוא סיכומים בכמה רמות פירוט שונות לאותם מסמכים ארוכים ומורכבים.
- 2,397הורדות בחודש
- 26לייקים
מה זה
כל רשומה במאגר מייצגת תיק משפטי יחיד ומכילה את הטקסט המלא של מסמכי המקור, לצד סיכומים ברמות אורך שונות: סיכום ארוך בן כמה פסקאות, סיכום קצר בן פסקה אחת, ותמצית של משפט בודד. בנוסף, רשומות רבות כוללות מטא-דאטה על התיק ועל המסמכים.
הנתונים מגיעים מארגון Civil Rights Litigation Clearinghouse באוניברסיטת מישיגן בשיתוף מכון אלן לבינה מלאכותית. עורכי דין וסטודנטים למשפטים כתבו את הסיכומים לפי הנחיות מוגדרות, וכל סיכום עבר ביקורת של מומחה נוסף לאימות האיכות. מסמכי המקור מגיעים ישירות מתיקי תביעות ציבוריים.
החלוקה הפנימית מקצה 70% מהתיקים לאימון, שזה 3,177 מקרים ו־28,557 מסמכים. סט המבחן מכיל 20% מהתיקים, שזה 908 מקרים, וסט הפיתוח כולל את 10% הנותרים, שזה 454 מקרים. בעוד שלכל התיקים יש סיכום ארוך, הסיכומים הקצרים והתמציות מופיעים רק בחלק מהרשומות בכל חלוקה.
מתאים ל
- אימון מודלי סיכום משפטי
לימוד מודלים להפקת תמציות מדויקות מתוך מסמכי תביעה עבי כרס ומשפה משפטית סבוכה.
- תמצות רב-דרגתי לפי דרישה
בניית מערכות שיודעות לייצר גם תקציר של משפט אחד וגם סקירה מעמיקה לאותו תיק בדיוק.
- הערכת מודלי הקשר ארוך
בדיקת יכולת המודל להתמודד עם קלט שמגיע למאות עמודי מקור בלי לאבד עובדות קריטיות.
איפה זה נופל
הטקסט כולו באנגלית בלבד, ועוסק באופן בלעדי בתביעות של זכויות אזרח בארצות הברית. אם אתם בונים מודל לדין הישראלי, למשפט מסחרי או לחוזים בעברית, המאגר הזה פשוט לא מתאים לכם. בנוסף, הסיכומים הקצרים והתמציות של המשפט הבודד קיימים רק בחלק מהמקרים ולא בכל התיקים, מה שמקטין את גודל הדאטה הזמין לאימון משימות תמצות קצר. כמו כן, הטקסטים נסמכים על מסמכים שנאספו עד מאי 2023, ללא עדכונים מאוחרים יותר.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא באופן אוטומטי, כי הסיכומים מוגנים ברישיון CC BY-NC שאוסר שימוש מסחרי. יוצרי המאגר מציינים שגורמים מסחריים יכולים לפנות אליהם במייל ולקבל רישיון חינמי, בתנאי שלא יפרסמו את הסיכומים מחדש. מסמכי המקור עצמם נמצאים ברשות הציבור ואינם מוגבלים.
האם הדאטהסט כולל נתונים בעברית?
לא, המאגר כולו כתוב באנגלית. הוא מבוסס לחלוטין על תיקי בית משפט של זכויות אזרח בארצות הברית. כדי להשתמש בו לצרכים ישראליים תידרשו לתרגם אותו או לאמן מודלים על נתונים מקומיים.
איך נאספו הסיכומים ומי כתב אותם?
הסיכומים נכתבו ידנית על ידי עורכי דין וסטודנטים למשפטים, ולא נוצרו בכלים אוטומטיים. הכותבים עבדו לפי קווי מנחה מסודרים של ארגון CRLC באוניברסיטת מישיגן. כל סיכום עבר בדיקה נוספת של מומחה לפני שנכנס למאגר הסופי.
במה הוא שונה מדאטהסטים אחרים של סיכום טקסט?
רוב מאגרי הסיכום מספקים רק גרסה אחת של תקציר, בעוד שכאן יש עד שלוש רמות פירוט שונות לאותו מקרה. בנוסף, חומרי המקור בכל תיק מגיעים לעיתים קרובות ליותר ממאתיים עמודים. רוב המאגרים האחרים מבוססים על כתבות חדשות קצרות שנוצרו אוטומטית.
איך טוענים
טוענים את הנתונים דרך הספרייה datasets של Hugging Face בפקודה load_dataset עם השם allenai/multi_lexsum וציון הגרסה הרצויה, כמו v20230518 שמוסיפה מטא-דאטה. אין צורך באישור גישה מראש. השדות המרכזיים לעבודה הם id, רשימת הטקסטים sources, והסיכומים summary/long, summary/short ו־summary/tiny. קחו בחשבון שמסמכי המקור בכל תיק עשויים להגיע למאות עמודים במצטבר, כך שעיבוד הטקסט דורש זיכרון משמעותי.
from datasets import load_dataset
ds = load_dataset("allenai/multi_lexsum")הרישיון
המאגר עצמו מופץ ברישיון ODC-By, ומסמכי המקור שייכים לרשות הציבור. עם זאת, הסיכומים והמטא-דאטה מוגנים תחת רישיון CC BY-NC 4.0 שאוסר שימוש מסחרי ישיר. מי שמעוניין להשתמש בהם במוצר מסחרי צריך לפנות ישירות בדואל לארגון CRLC לקבלת אישור ללא תשלום, הכפוף להגבלת פרסום הסיכומים מחדש. קוד הטעינה מוגן ברישיון Apache 2.0.