lex_files

מה זה

הנתונים כוללים כמעט שישה מיליון מסמכים משפטיים המחולקים ל־11 תתי-מאגרים שונים. הטקסטים מכסים חקיקה והחלטות בתי משפט מהאיחוד האירופי, מועצת אירופה, בריטניה, קנדה, הודו וארצות הברית, לצד חוזים אמריקאיים. ישנו גם תת-מאגר נפרד של דפי רשת משפטיים מתוך C4 שלא נכלל באימון המקורי כי אינו מייצג ידע משפטי עובדתי.

החלק האמריקאי מהווה את עיקר הנפח עם כ־11.4 מיליארד תוקנים בפסיקה בלבד ועוד 5.3 מיליארד בחוזים. בפסיקה האמריקאית נכללו אך ורק תיקים מ־1965 ואילך, סינון שנועד להוציא תקדימים ישנים שנשענים על סטנדרטים משפטיים פוגעניים מלפני חוק זכויות האזרח. שאר החלקים מכילים מסמכים עדכניים ממקורות רשמיים באותם תחומי שיפוט.

מתאים ל

• אימון מקדימי למודל משפטי

  אימון מודלי שפה על טקסטים משפטיים מגוונים באנגלית משישה תחומי שיפוט שונים.

• משימות מיסוך טקסט

  הערכה ואימון של מודלי fill-mask על ניסוחים משפטיים, חקיקה וחוזים.

• מחקר משווה בין תחומי שיפוט

  השוואת ביצועי מודלים בין פסיקה בריטית, קנדית, הודית ואמריקאית.

איפה זה נופל

למרות השאיפה לרב-לאומיות, החומר מוטה חזק לארצות הברית, שמהווה יותר מ־85% מכלל התוקנים. פסיקה הודית או קנדית מיוצגת באלפי מסמכים בודדים לעומת מיליונים מארצות הברית. בנוסף, כל החומר הוא באנגלית בלבד ואין פה מילה בעברית או נגיעה לחוק הישראלי. החלטות אמריקאיות נחתכו ב־1965, כך שההיסטוריה המשפטית הקודמת פשוט לא קיימת שם.

איך טוענים

הטעינה מתבצעת ישירות דרך ספריית datasets באמצעות ציון המזהה ושם תת-המאגר הספציפי, למשל us-court-cases או eu-legislation. אין צורך באישור גישה מראש. המאגר כולל 13 קבצים ובהם ארכיוני zip לפי נושאים, כך שאפשר ורצוי למשוך רק את תת-המאגר שמעניין אתכם במקום להוריד את כל מיליוני המסמכים בבת אחת.

from datasets import load_dataset

ds = load_dataset("lexlms/lex_files")

הרישיון

הרישיון הוא cc-by-nc-sa-4.0. המשמעות פשוטה, אסור להשתמש בנתונים האלה לשום מטרה מסחרית. בנוסף, חובה לתת קרדיט ליוצרים, וכל נגזרת או מודל שמאומן עליהם חייב להיות מופץ תחת אותו רישיון בדיוק. אם אתם בונים מוצר מסחרי, המאגר הזה פסול.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗