lener_br

מה זה

הנתונים מורכבים מפסקי דין ומסמכי חקיקה שנאספו ממערכת המשפט בברזיל, בסך הכל שבעים מסמכים מלאים. שישים ושישה מתוכם הגיעו מבתי משפט בדרגים שונים, כולל בתי המשפט העליונים וערכאות מדינתיות, וארבעה מסמכים נוספים הם דברי חקיקה שלמים. כל הטקסטים האלה עברו תיוג ידני מלא ברמת הטוקן לפי פורמט מקובל של זיהוי ישויות.

המבנה של כל רשומה כולל מזהה, רשימת מילים ורשימת תגיות תואמת. התיוג כולל קטגוריות כלליות כמו אנשים, ארגונים, מקומות וזמנים, לצד קטגוריות ייחודיות לעולם המשפט הברזילאי: אזכורי חקיקה ותקדימים שיפוטיים. החלוקה הפנימית מוגדרת מראש ומכילה 7,828 דוגמאות באימון, 1,177 בתיקוף ו־1,390 במבחן, כך שלא צריך לשבור את הראש על חלוקה עצמאית.

מתאים ל

• אימון זיהוי ישויות משפטי

  מודל שמחלץ שמות עורכי דין, שופטים, חוקים ותקדימים מתוך כתבי טענות בפורטוגזית.

• בדיקת ביצועים בדומיין צר

  הערכה של מודלי שפה על טקסט מקצועי ומורכב ששונה משמעותית משפה יומיומית.

• אנונימיזציה של תיקים

  זיהוי אוטומטי של שמות אנשים וארגונים במסמכים לצורך השחרת מידע אישי.

איפה זה נופל

המאגר מכיל אך ורק פורטוגזית שנכתבה בהקשר של מערכת המשפט הברזילאית. אין כאן אף מילה בעברית, והוא לא יעזור לפרויקטים מקומיים בישראל אלא אם בונים מודל רב לשוני ומשתמשים בו כדוגמה לדומיין משפטי.

בנוסף, כל המידע נשען על שבעים מסמכים בלבד שנאספו סביב 2018. הכרטיס לא מפרט כיצד סוננו שמות או פרטים רגישים, ויש בו חוסר במידע לגבי הטיות והמדרגים. טקסטים משפטיים מודרניים או כאלה ממדינות דוברות פורטוגזית אחרות עלולים להתנהג אחרת לחלוטין.

איך טוענים

טוענים אותו ישירות דרך ספריית datasets באמצעות המזהה peluz/lener_br, בלי צורך בבקשת גישה או אישור מיוחד. המאגר קטן יחסית ומכיל סך הכל שלושה קבצים, כולל סקריפט הטעינה, כך שההורדה מסתיימת מהר מאוד ולא דורשת משאבי אחסון כבדים.

הפורמט מגיע מוכן לעבודה במשימות סיווג טוקנים, כאשר השדות העיקריים הם tokens ו־ner_tags. התגיות מיוצגות במספרים שלמים מ־0 עד 12 שממפים את קידומי ה־IOB של שש הישויות. אם אתם עובדים עם ספריות כמו Hugging Face Transformers, המבנה הזה נכנס ישירות למאמני המודלים הרגילים.

from datasets import load_dataset

ds = load_dataset("peluz/lener_br")

הרישיון

הרישיון הרשמי מוגדר כלא ידוע. הכרטיס עצמו לא מציין תנאי שימוש, וזה מציב סיכון משפטי ברור. כל עוד אין רישיון פתוח מוצהר, אסור להניח שמותר להשתמש בו למוצרים מסחריים, ואימון מודל מסחרי עלול להיתקל בבעיות של זכויות יוצרים.

הרישיון המלא ב־Hugging Face ↗