LegalPT_dedup
קוד פתוחeduagarciaרישיון לא דווח2024-02-02
מאגר ענק של טקסטים משפטיים בפורטוגזית שעבר ניקוי כפילויות קפדני. הוא מרכז פסיקה, חקיקה ומסמכים רשמיים מברזיל ומאירופה ומיועד למי שמאמן מודלים לתחום המשפטי.
- 1,286הורדות בחודש
- 22לייקים
מה זה
המאגר מאגד שישה מקורות נתונים שונים בפורטוגזית, הן מברזיל והן מאירופה. המקור הגדול ביותר הוא תת המאגר בפורטוגזית מתוך MultiLegalPile, שכולל פסיקה מבתי משפט בברזיל, מסמכי EUR-Lex של האיחוד האירופי וחומר משפטי מסונן מתוך MC4. לצידו נכללים Ulysses-Tesemõ שנאסף מ־96 אתרי ממשל ברזילאיים, תמלילי דיונים מהפרלמנט של פורטוגל דרך ParlamentoPT, החלטות של בית המשפט העליון בברזיל מתוך Iudicium Textum ו־DataSTF, וכן החלטות של בית הדין לחשבונות Acordãos TCU.
הייחוד בגרסה הזו הוא תהליך הניקוי. המחברים הפעילו אלגוריתם MinHash ו־LSH עם 5-גרם וחתימה של 256, והגדירו מסמכים ככפולים לפי דמיון ז'קארד של מעל 0.7. התהליך חתך כמחצית מהרשומות, מ־24.19 מיליון מסמכים במקור ל־11.94 מיליון מסמכים נקיים. שיעור הכפילויות הגיע ליותר מ־80 אחוז במקורות מסוימים, מה שחוסך זמן אימון יקר ומונע הטיה של המודל לטובת נוסחים שחוזרים על עצמם.
מתאים ל
- אימון מודל שפה משפטי
אימון מקדים או המשך אימון של מודלי שפה עבור ניתוח מסמכים ופסיקה בפורטוגזית.
- מיצוי מידע מפסקי דין
כוונון מודלים לחילוץ ישויות, זיהוי החלטות וניתוח טיעונים בתיקים מברזיל.
- מחקר על דה-דופליקציה
הערכת השפעת ניקוי כפילויות קיצוני באמצעות MinHash על ביצועי מודלי שפה.
איפה זה נופל
המאגר מוגבל לשפה הפורטוגזית בלבד, עם דומיננטיות ברורה ומכרעת למערכת המשפט של ברזיל לצד ייצוג מוגבל לפורטוגל ולאיחוד האירופי. עברית או מערכות משפט אחרות לא קיימות כאן כלל. בנוסף, הנתונים בחלק מהמקורות אינם עדכניים: פסקי הדין של בית המשפט העליון מכסים רק את השנים 2010 עד 2018, והחלטות בית הדין לחשבונות מסתיימות ב־2019. כרטיס המאגר לא מפרט תהליכי הסרת מידע אישי מזהה, וטקסטים שנשאבו מאתרי ממשל עלולים להכיל שמות של מעורבים בהליכים, מה שדורש בדיקה משפטית לפני שימוש במודל שחשוף לציבור.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כרגע לא כדאי להסתכן, מכיוון שיוצרי המאגר לא ציינו רישיון שימוש. המאגר הוא אוסף של מקורות שונים שנאספו ברשת, וחלקם עשויים לכלול מגבלות זכויות יוצרים משלהם. עד שהיוצרים יגדירו רישיון ברור, השימוש בטוח בעיקר לצורכי מחקר והערכה פנימיים.
האם יש במאגר טקסטים בעברית?
לא, המאגר כולו כתוב בפורטוגזית בלבד. הוא מתמקד בפורטוגזית ברזילאית ובמידה פחותה בפורטוגזית אירופית מתוך דיוני הפרלמנט ומסמכי האיחוד האירופי. אם אתם מחפשים דאטה למערכת המשפט הישראלית, המאגר הזה לא יסייע לכם.
איך בוצע ניקוי הכפילויות במאגר?
החוקרים יישמו את אלגוריתם MinHash יחד עם Locality Sensitive Hashing על בסיס 5-גרם וחתימות של 256. הם הגדירו סף דמיון ז'קארד של 0.7, כך שכל זוג מסמכים עם דמיון מעבר לסף נחשב לכפילות ונמחק. התהליך הזה צמצם כמחצית מנפח המסמכים הכולל.
מה ההבדל בין גרסה זו לגרסת LegalPT הרגילה?
הגרסה הרגילה מכילה את כל 24.19 מיליון המסמכים שנאספו מהמקורות השונים כפי שהם, כולל כפילויות רבות שנוצרו מנוסחים משפטיים חוזרים וערעורים דומים. הגרסה הזו מכילה רק את 11.94 מיליון המסמכים שנותרו לאחר הסינון. שימוש בגרסה המנוקה מקצר את זמני האימון ומונע שינון מיותר של תבניות שחוזרות על עצמן.
איך טוענים
המאגר מחולק ל־328 קבצי Parquet ויושב בפורמט שמאפשר טעינה ישירה דרך Hugging Face. הגישה אליו ציבורית לחלוטין ואין צורך בהרשמה מוקדמת או באישור מיוחד. הנתונים מאורגנים לפי המקורות השונים, למשל בתיקיות עבור Acordãos TCU או בתיקייה שמאחדת את הכל. אם אתם מתכננים להוריד ולאמן על כל המאגר, קחו בחשבון שמדובר במיליוני רשומות שמקורן בנפח של עשרות גיגה-בייט של טקסט נקי, כך שמומלץ לעבוד בסטרימינג או לטעון רק את המקורות הספציפיים שרלוונטיים עבורכם.
from datasets import load_dataset
ds = load_dataset("eduagarcia/LegalPT_dedup")הרישיון
בדף המאגר לא דווח רישיון כלל. המצב הזה מציב בעיה משפטית ממשית למי שבונה מוצר, כיוון שאי אפשר לדעת אם מותר להשתמש בטקסטים למטרות מסחריות או מה תנאי הייחוס הנדרשים. מודל שיאומן על המאגר במצבו הנוכחי עלול להפר זכויות יוצרים של מקורות המידע המקוריים, ולכן בלי בירור ישיר מול החוקרים שפרסמו אותו לא מומלץ לשלב אותו בסביבה מסחרית.