lbox_open
קוד פתוחlboxcc-by-nc-4.02022-03-02
מאגר בנצ'מרק ייעודי לטקסטים משפטיים מקוריאה, שמיועד למי שמפתח מודלים לסיווג, חיזוי פסקי דין ותקצור תיקים. הוא מרכז משימות מוגדרות מראש מתוך פסיקה קוריאנית אמיתית.
- 2,693הורדות בחודש
- 17לייקים
מה זה
המאגר כולל אוסף של תיקים משפטיים מקוריאה הדרומית, שחולקו למספר תתי משימות נפרדות בתחום המשפטי. המבנה שלו מפוצל לפי מטרות עבודה ברורות: סיווג שמות תיקים, סיווג סעיפי חוק רלוונטיים, משימות חיזוי של החלטות שיפוטיות בתיקים פליליים ואזרחיים, ומשימות לתקצור פסקי דין. בנוסף, ישנו מאגר טקסטים של תקדימים משפטיים שמשמש כקורפוס כללי.
הקבצים עצמם שמורים בפורמט של קובצי שורות ג'ייסון, ומחולקים מראש לסטים של אימון, בדיקה ואימות עבור חלק מהמשימות. חלק מהמשימות כוללות גם גרסאות מורחבות שמופיעות עם התוספת פלוס. הנתונים מתבססים על החומרים המשפטיים של חברת אלבוקס, שפועלת בתחום המידע המשפטי בקוריאה, אך הכרטיס לא מפרט באילו שיטות בדיוק סוננו המסמכים או מה היקף המילים הכולל בכל קובץ.
מתאים ל
- סיווג סעיפי חוק
אימון מודלים לזיהוי חוקים ותקנות רלוונטיים מתוך טקסט של כתב טענות או פסק דין בקוריאנית.
- חיזוי החלטות שופטים
פיתוח מערכות להערכת תוצאות של משפטים פליליים או אזרחיים על בסיס עובדות התיק.
- תקצור אוטומטי של פסקי דין
בניית מודלים שמסוגלים להפיק תמציות קריאות ומדויקות מתוך מסמכי פסיקה ארוכים.
איפה זה נופל
הנתונים כולם בקוריאנית בלבד. אין כאן מילה בעברית או באנגלית, וגם לא תמיכה במערכות משפט מערביות או ישראליות. מי שמחפש מידע משפטי מקומי לא ימצא כאן מענה. בנוסף, המאגר פורסם במרץ 2022, כך ששינויי חקיקה או פסיקות חדשות מאז אינם מיוצגים. הכרטיס גם חסר פרטים על הטיות אפשריות בבחירת התיקים, ולא מפרט איך נוקו שמות או פרטים מזהים מהפסיקות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא, הרישיון המוגדר הוא CC BY-NC 4.0 שמונע במפורש כל שימוש מסחרי. הוא מתאים למחקר אקדמי, לבדיקות פנימיות או לבנצ'מרק של מודלים. אם המטרה היא להוציא כלי לשוק, תצטרכו לפנות ישירות ליוצרים.
האם יש במאגר טקסטים בעברית או באנגלית?
המאגר כולו מבוסס על השפה הקוריאנית בלבד. אין בו שום תמיכה בשפות אחרות, והוא משקף את הטרמינולוגיה המשפטית של דרום קוריאה. מי שמחפש מידע בעברית לא ימצא כאן תועלת ישירה.
כמה שוקל הדאטהסט ואיך מורידים אותו?
המשקל הכולל בבתים לא מצוין בכרטיס, אך המאגר מכיל בסך הכל 32 קבצים ומחולק לחלקים קטנים לפי משימות. הטעינה נעשית בצורה מודולרית באמצעות פקודת load_dataset בפייתון, כך שלא חייבים למשוך את כל התיקיות בבת אחת אלא רק את המשימה שמעניינת אתכם.
מה מקור הטקסטים שנמצאים בפנים?
הנתונים הוכנו על ידי חברת LBox הדרום קוריאנית, שמפעילה מאגרי מידע משפטיים. הם לקחו פסקי דין אמיתיים מהמערכת המקומית וסידרו אותם לקורפוסים ולמשימות מבחן מובנות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של פייתון בפקודה פשוטה, בלי צורך בבקשת אישור מיוחדת או מפתחות גישה. מכיוון שהמאגר בנוי ממספר תצורות נפרדות, צריך להגדיר מראש את שם המשימה הרצויה, למשל המשימות הפליליות, האזרחיות, משימות הסיווג או התקצור.
במאגר ישנם 32 קבצים שמסודרים לפי תיקיות של המשימות השונות, כאשר רוב המידע שמור בקובצי jsonl סטנדרטיים. כדאי להביא בחשבון ששמות השדות המדויקים משתנים בין משימה למשימה, ולכן לפני תחילת האימון צריך לבדוק את המבנה הפנימי של התצורה שבחרתם ישירות מתוך הקוד.
from datasets import load_dataset
ds = load_dataset("lbox/lbox_open")הרישיון
הרישיון הוא CC BY-NC 4.0. המשמעות ברורה וחדה: מותר להשתמש בטקסטים למחקר, להערכה ולפיתוח אישי, אך חל איסור מוחלט על כל שימוש מסחרי. חובה לתת קרדיט לחברת אלבוקס. מודל שתאמנו על הדאטהסט הזה לא יוכל להימכר, להשתלב במוצר מסחרי או לתת שירות בתשלום בלי אישור נפרד מבעלי הזכויות.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא