eur-lex-sum
קוד פתוחdennlingercc-by-4.02022-10-10
מאגר מסמכי חקיקה וסיכומי חקיקה רשמיים של האיחוד האירופי ב־24 שפות. הוא מציע טקסטים מקוריים לצד סיכומים ארוכים שנכתבו בידי אדם, שמתאימים למודלים עם חלון הקשר רחב.
- 2,239הורדות בחודש
- 50לייקים
מה זה
הנתונים מבוססים על חקיקה רשמית מאתר EUR-Lex וכוללים שלושה שדות: מזהה Celex ID, טקסט החקיקה המלא בשדה reference, והסיכום הרשמי בשדה summary. החוקרים זחלו מסמכים בעלי גרסת HTML כדי לשמר מבנה פסקאות אחיד בין השפות, וסיננו החוצה חוקים ללא סיכום צמוד. במקרים שבהם סיכום נשען על כמה חוקים, הם השאירו רק את המסמך הארוך ביותר והשמיטו את השאר.
הטקסטים קיימים ב־24 השפות הרשמיות של האיחוד, בהיקף שנע בין 391 דוגמאות באירית ל־1,505 בצרפתית, כאשר מעל 80 אחוז מהדוגמאות מופיעות בלפחות עשרים שפות. המפתחים יצרו חלוקה מוגדרת שבה קבוצות הולידציה והמבחן מכילות 187 ו־188 דוגמאות בהתאמה, ומורכבות אך ורק מ־375 המסמכים שזמינים בכל 24 השפות במקביל. כל שאר הרשומות הוקצו לאימון לפי שפה, תוך בדיקה שאין כפילויות בין החלקים.
מתאים ל
- אימון סיכום משפטי ארוך
פיתוח מודלים לתמצות מסמכים משפטיים כבדים שדורשים שמירה על הקשר מעבר ל־512 טוקנים.
- הערכת סיכום בין-שפתי
בדיקת ביצועים של מערכות שמקבלות חוק בשפה אחת ומפיקות סיכום בשפה אירופית אחרת על בסיס מבחן אחיד.
- תרגום טקסטים רגולטוריים
השוואה ובדיקה של תרגום מקביל בפסקאות משפטיות שתואמות לחלוטין בין שפות האיחוד האירופי.
איפה זה נופל
עברית לא קיימת כאן, והמאגר מוגבל אך ורק ל־24 השפות הרשמיות של האיחוד האירופי. הנתונים מתרכזים בעיקר משנת 1990 ואילך ונושאים הטיה מובהקת לעניינים אירופיים מערביים. החיסרון המשמעותי ביותר הוא השמטת מסמכי מקור בחוקים מרובי הפניות, מה שמשאיר סיכומים שמזכירים פרטים שלא מופיעים בטקסט המקור שנשמר. בנוסף, כל הטקסטים והסיכומים תורגמו במקור מאנגלית, כך שסגנון הכתיבה בשפות האחרות מושפע מתרגום ולא מניסוח מקומי אותנטי.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מבוסס אך ורק על 24 השפות הרשמיות של האיחוד האירופי, כמו אנגלית, צרפתית, גרמנית ואיטלקית. אין בו מסמכים בעברית או התייחסות לחקיקה ישראלית.
האם מותר להשתמש בדאטהסט לפרויקט מסחרי?
כן. הרישיון המדווח הוא cc-by-4.0, שמתיר שימוש מסחרי מלא, שינוי ושיתוף. התנאי המרכזי הוא מתן ייחוס מתאים לחוקרים שיצרו את המאגר.
במה הוא שונה ממאגרי סיכום חדשות רגילים?
הסיכומים ב־EUR-Lex-Sum נכתבו בידי מומחים וארוכים בערך פי עשרה מסיכומי חדשות סטנדרטיים. שיטות שליפה פשוטות כמו בחירת שלושת המשפטים הראשונים נכשלות כאן לחלוטין.
האם כל החוקים מופיעים במלואם?
לא תמיד. במקרים שבהם הסיכום המקורי נכתב עבור כמה חוקים יחד, החוקרים שמרו רק את המסמך הארוך ביותר ומחקו את השאר כדי לשמור על מבנה של מסמך יחיד מול סיכום.
איך טוענים
הטעינה נעשית ישירות דרך ספריית הנתונים של Hugging Face ללא צורך באישור גישה או במפתח סודי. המאגר מכיל 76 קבצי JSON המחולקים לפי שפות ולפי קבוצות אימון, ולידציה ובדיקה. כל רשומה כוללת את השדות celex_id, reference ו־summary, כאשר ה־reference וה־summary מכילים טקסטים ארוכים משמעותית מנתוני סיכום חדשות רגילים, ולכן נדרש זיכרון מתאים לעיבוד רצפים ארוכים.
from datasets import load_dataset
ds = load_dataset("dennlinger/eur-lex-sum")הרישיון
המאגר מופץ ברישיון cc-by-4.0 המאפשר שימוש מסחרי, שינוי והפצה, בתנאי שניתן קרדיט מתאים ליוצרים המקוריים וללא הוספת הגבלות משפטיות נוספות. מודלים שאומנו על המידע יכולים לשמש לפרויקטים מסחריים, אך יש לציין את מקור הנתונים כנדרש ברישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס