cail2018

מה זה

המאגר מבוסס על נתוני אתגר CAIL 2018 וכולל טקסטים משפטיים בסינית בהיקף של מיליון עד עשרה מיליון דוגמאות. הכרטיס המקורי בהאגינג פייס כמעט ריק מפרטים טכניים ולא מסביר אילו מסמכים נאספו, מאיזה בית משפט או כיצד עברו ניקוי וסינון. כל הסעיפים העוסקים באיסוף, בנרמול ובזהות כותבי הטקסטים סומנו כחסרי מידע, כך שאי אפשר לדעת ישירות מהכרטיס איך הנתונים נוצרו או אילו תוויות הם כוללים בפועל.

מבנה הקבצים במאגר מחלק את החומר לכמה שלבים שונים ששימשו בתחרות המקורית. ישנם קובצי אימון, בדיקה ואימות עבור שלב תרגול בשם exercise_contest, וקבצים נפרדים עבור שלב ראשון בשם first_stage שמחולק לארבעה חלקי אימון יחד עם סט בדיקה. בנוסף יש קובץ בדיקה סופי בשם final_test. מעבר לשמות הקבצים האלה, הכרטיס אינו מפרט את השדות המדויקים ברשומות או את אופן החלוקה הסטטיסטי.

מתאים ל

• אימון מודלים בסינית

  אימון ושיפור של מודלי שפה על טקסטים משפטיים בסינית בהיקף של מיליוני דוגמאות.

• הערכת ביצועים בתחום המשפט

  בדיקת יכולת של מודלים בניתוח פסקי דין ומסמכים משפטיים על בסיס קובצי הבדיקה של התחרות.

• מחקר אקדמי בעיבוד שפה

  שימוש בנתוני תחרות CAIL 2018 למחקר על משימות סיווג וחיזוי בעולם המשפטי.

איפה זה נופל

הבעיה המרכזית כאן היא שכל המידע בכרטיס ריק לחלוטין. אין שום פירוט על הטיות, על אופן הסרת פרטים מזהים ורגישים, או על סוג העבירות והתיקים שנכללו. הנתונים כולם בסינית בלבד ואינם כוללים מילה בעברית או באנגלית, כך שאין להם התאמה למערכת המשפט הישראלית. מעבר לכך, המאגר פורסם במרץ 2022 על בסיס תחרות מ שנת 2018, כך שהחומר אינו מעודכן לשינויי חקיקה אחרונים.

איך טוענים

הנתונים מחולקים לאחד עשר קבצים, רובם בפורמט parquet, כך שניתן לטעון אותם בספריות סטנדרטיות או ישירות דרך כלי datasets. המאגר פתוח להורדה ואינו דורש הרשאה מיוחדת, טופס בקשה או אישור גישה מוקדם כדי למשוך את הקבצים. גודל הנפח המדויק בדיסק לא צוין בכרטיס, אך מדובר במיליוני רשומות המחולקות לקבצים מרובים, כולל ארבעה קובצי אימון לשלב הראשון. שמות השדות הפנימיים אינם מתועדים בעמוד, ולכן תצטרכו לטעון דוגמה אחת כדי לבדוק אילו עמודות קיימות שם בפועל.

from datasets import load_dataset

ds = load_dataset("china-ai-law-challenge/cail2018")

הרישיון

הרישיון המוגדר במאגר הוא unknown, כלומר לא ידוע. הכרטיס אינו מציין תנאי שימוש, מגבלות מסחריות או דרישות ייחוס ושיתוף. במצב כזה, שימוש מסחרי במאגר או במודל שאומן עליו יוצר סיכון משפטי, שכן אין הרשאה מפורשת מבעלי הזכויות לעשות שימוש בנתונים.

הרישיון המלא ב־Hugging Face ↗