korean_law_open_data_precedents

מה זה

המאגר מכיל עשרות אלפי פסקי דין ותקדימים ממרכז המידע המשפטי הממשלתי של דרום קוריאה, נכון ליוני 2023. הנתונים נמשכו בעזרת ה־API הרשמי בתהליך שכלל הצלבה בין תשובות XML ל־HTML, כדי לחלץ את הטקסט המלא והמדויק ביותר בכל פסק דין שבו היו סתירות בין הפורמטים.

המבנה מבוסס על שדות המקור של הממשל, למעט קודי סוג בית משפט וסוג תיק שהוסרו. שדה תוכן פסק הדין מופיע כטקסט מלא, ותאריכי מתן פסק הדין שמורים כמספרים. היוצר גם תיקן ידנית מספר רשומות שבהן היו קישורים שבורים או בעיות בהסוואת פרטים מזהים.

מתאים ל

• אימון מודלי שפה משפטיים

  התאמת מודלים להבנת מינוח משפטי וניתוח נימוקי פסיקה בקוריאנית.

• מנועי חיפוש פסיקה

  בניית אחזור מידע סמנטי על גבי תקדימים קוריאניים ללא תלות ב־API.

• סיווג מסמכים משפטיים

  אימון מסווגים לזיהוי ערכאות, סוגי פסיקה ומאפייני תיקים.

איפה זה נופל

יש במאגר כמאתיים רשומות כפולות עם אותו מספר תיק, כתוצאה מהאופן שבו ה־API הממשלתי מחזיר מזהים שונים לאותו הליך בדיוק. תצטרכו לנקות אותן בעצמכם.

הטקסט כולו בקוריאנית בלבד ואינו רלוונטי לחוק הישראלי או לעברית. בנוסף, כל התמונות והתרשימים שהופיעו בפסקי הדין המקוריים הוסרו ונשאר רק הטקסט, והנתונים מעודכנים רק עד אמצע 2023.

איך טוענים

המאגר מחולק לשישה קובצי CSV בשם train_0.csv עד train_5.csv, לצד קובץ הסבר. אין צורך באישור גישה מיוחד, טוענים ישירות דרך ספריית datasets או בכלים שקוראים CSV.

לפני העיבוד חשוב לשים לב ששדה תאריך הפסיקה הוא מספרי ולעיתים כולל רק 4 ספרות של שנת הפסק, ושדות כמו שם התיק עשויים להיות ריקים.

from datasets import load_dataset

ds = load_dataset("joonhok-exo-ai/korean_law_open_data_precedents")

הרישיון

המאגר מופץ תחת רישיון openrail. המשמעות היא שבדרך כלל מותר להשתמש במידע ולאמן מודלים, אך הרישיון כולל מגבלות שימוש שמטרתן למנוע יישומים מזיקים או בלתי אתיים. יש לוודא שהשימוש המיועד במודל עומד בכללי הרישיון.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא ב־Hugging Face ↗