lextreme
קוד פתוחjoelniklauscc-by-4.02022-08-01
בנצ'מרק משפטי שמאגד 12 מאגרי נתונים שונים ב־24 שפות ומיועד להערכת מודלים. הוא מרכז 21 משימות של סיווג טקסט ותיוג ישויות תחת קורת גג אחת.
- 530הורדות בחודש
- 22לייקים
מה זה
המאגר מאגד נתונים מ־12 מקורות עצמאיים בתחום המשפטי, בהם החלטות בתי משפט מברזיל, שווייץ ואוקראינה, חקיקה אירופית, קודקס משפטי יווני ותנאי שימוש מקוונים. התוכן חולק ל־21 משימות שונות, מתוכן 11 משימות סיווג טקסט עם תווית בודדת, 5 משימות סיווג מרובה תוויות, ו־5 משימות של תיוג רצפים כמו זיהוי ישויות שמיות.
המבנה הפנימי משתנה בהתאם למקור. חלק מהמאגרים מגיעים בתצורה יחידה, אחרים מחולקים לפי רמות סיווג שונות, והנתונים מאוקראינה מחולקים לשלוש תקופות זמן ביחס למלחמה. הקובץ המקורי לא מפרט כיצד סוננו הטקסטים או איך בוצעו התיוגים בפועל בכל מאגר ומאגר.
מתאים ל
- בדיקת מודלים משפטיים
הרצת בדיקות אחידות על מודלי שפה במספר שפות ומשימות שונות בתחום המשפט.
- זיהוי ישויות במסמכים
אימון ובחינה של מודלים לחילוץ שמות ומונחים מתוך טקסטים משפטיים ורשמיים.
- סיווג פסקי דין ותנאים
סיווג אוטומטי של החלטות שיפוטיות, סעיפים בעייתיים בתנאי שימוש ונושאי חקיקה.
איפה זה נופל
הבעיה המרכזית כאן היא תיעוד חסר לחלוטין לגבי תהליך העבודה. כרטיס המאגר מציין שדרוש מידע נוסף בכל הנוגע לאיסוף הנתונים, הטיות, פרטיות או הגבלות חברתיות. נוסף על כך, עברית כלל אינה נתמכת, והנתונים מוגבלים לשפות אירופיות בעיקרן ולמערכות המשפט הספציפיות שמהן הם נאספו. לא הייתי בונה על זה מערכת לדין הישראלי, ואי אפשר להכניס את זה לפרודקשן בלי לבדוק כל תת מאגר לחוד.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר תומך ב־24 שפות אחרות, בעיקר אירופיות, כמו אנגלית, גרמנית, צרפתית, יוונית ואוקראינית. אין בו ייצוג לשפה העברית או לפסיקה ישראלית.
האם מותר להשתמש בו לצרכים מסחריים?
הרישיון המוצהר במערכת הוא cc-by-4.0, שמאפשר שימוש מסחרי בכפוף למתן קרדיט. עם זאת, מכיוון שהמאגר הוא אוסף של 12 מקורות נפרדים והכרטיס לא מפרט את הרישיון המדויק של כל מקור, כדאי לבדוק את תנאי המקורות המקוריים לפני שימוש מסחרי.
איך הנתונים נאספו ותויגו?
דף המאגר מציין במפורש שחסר מידע בנושא זה. הנתונים לוקטו ממאגרים קיימים כמו MultiEURLEX ופסקי דין מברזיל ושווייץ, אך אין תיעוד בכרטיס על תהליך הסינון או זהות המתייגים.
מה ההבדל בין המאגר הזה למאגרים משפטיים רגילים?
במקום לספק קובץ בודד למשימה אחת, הוא מרכז 21 משימות הערכה תחת סקריפט טעינה אחד. זה מאפשר להריץ בנצ'מרק שלם למודל NLU בכמה שפות בלי לחפש ולהתאים כל מאגר בנפרד.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות ציון תת המאגר הספציפי שרוצים לבדוק, כמו swiss_judgment_prediction. הנתונים מאוחסנים בפורמט jsonl וכוללים חלוקה מובנית לסט אימון, ולידציה ובדיקה. המאגר פתוח לציבור ואינו דורש אישור גישה מיוחד, אך כרטיס המאגר לא מפרט מראש את שמות העמודות, כך שצריך לבדוק אותן ישירות מתוך הסקריפט או המופע שנטען.
from datasets import load_dataset
ds = load_dataset("joelniklaus/lextreme")הרישיון
הרישיון המדווח במטא דאטה הוא cc-by-4.0. רישיון זה מתיר שימוש מסחרי, שינוי והפצה של הנתונים, כולל אימון מודלים עליהם, בתנאי שניתן קרדיט מתאים ליוצרים ומצוין אם נעשו שינויים. כרטיס המאגר עצמו מסמן את סעיף הרישוי כמידע חסר, לכן יש לוודא שהרישיונות של 12 המאגרים המקוריים אכן תואמים את התנאי הזה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס