open-australian-legal-corpus
קוד פתוחisaacusother2023-06-25
מאגר מקיף של חקיקה ופסקי דין מאוסטרליה, שכולל טקסטים מלאים של חוקים בתוקף והחלטות שיפוטיות. הוא מיועד למי שבונה מודלים לתחום המשפטי וצריך נתונים נקיים באנגלית ממערכת משפט מקובל.
- 18,709הורדות בחודש
- 95לייקים
מה זה
המאגר מכיל חקיקה ראשית ומשנית, הצעות חוק והחלטות בתי משפט. הרוב המוחלט של הרשומות הוא החלטות שיפוטיות, בעיקר מניו סאות' ויילס ומערכת המשפט הפדרלית, לצד חוקים בתוקף מהממשל הפדרלי ומכמה מדינות באוסטרליה.
הטקסטים נאספו ישירות ממאגרים רשמיים כמו רשם החקיקה הפדרלי ואתרי בתי המשפט. מעל תשעים אחוז מהחומר הגיע מדפי רשת ועבר חילוץ באמצעות ספריות פייתון, וחלק קטן יותר חולץ מקובצי וורד, מסמכי טקסט וסריקות קובצי פי די אף באמצעות זיהוי תווים אופטי.
כל רשומה כוללת מזהה ייחודי לגרסה, סוג מסמך, סמכות שיפוט, מקור, תאריך, קישור ישיר למקור, חותמת זמן של האיסוף ואת הטקסט המלא.
מתאים ל
- אימון מקדים למודל שפה משפטי
לימוד מושגים ומבנה טקסטים של משפט מקובל באנגלית על נפח גדול של מסמכים.
- אחזור מידע ותקדימים
בניית מנוע חיפוש והטמעות לאיתור פסיקה דומה לפי עובדות המקרה.
- סיווג מסמכים משפטיים
אימון ממיינים לפי ערכאות, סוגי חקיקה או תחומי שיפוט.
איפה זה נופל
המאגר מוגבל לאנגלית בלבד ולדין האוסטרלי, כך שאינו מתאים לאימון מודלים על הדין הישראלי או בעברית. יש בו הטיה חזקה לכיוון פסקי דין, בעיקר מניו סאות' ויילס, בעוד מדינות וטריטוריות אחרות כמו ויקטוריה נעדרות מהרשימה. בנוסף, חילוץ הטקסט מקובצי פי די אף נעשה באמצעות טסרקט, ולכן עלולות להופיע שגיאות זיהוי אותיות בקטעים שנסרקו. חקיקה שכבר בוטלה לא נכללת במאגר, מה שעלול להקשות על ניתוח היסטורי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר עצמו מוגדר תחת רישיון קריאייטיב קומונס 4.0 שמתיר שימוש מסחרי עם מתן קרדיט. עם זאת, המסמכים הבודדים כפופים לרישיונות של המקורות הממשלתיים שמהם נאספו. המפרסם מציין שמרביתם מתירים שימוש מסחרי, אך חובה לעיין בקובץ הרישיונות המצורף.
האם יש במאגר טקסטים בעברית או התייחסות לחוק הישראלי?
לא. המאגר כולו באנגלית ועוסק אך ורק בחוק ובפסיקה של אוסטרליה. הוא יכול לעזור בלימוד השפה המשפטית באנגלית, אבל לא יועיל למי שמחפש חומרים משפטיים מקומיים.
איך הטקסט חולץ והאם האיכות שלו אחידה?
מרבית החומר נלקח מדפי רשת וחולץ ישירות כטקסט נקי. חלק קטן מהטקסטים חולץ מקובצי פי די אף באמצעות זיהוי תווים אופטי, ולכן במסמכים אלה ייתכנו שגיאות קריאה ואי דיוקים.
איך טוענים
הנתונים יושבים בקובץ בודד בפורמט ג'ייסון שורות, corpus.jsonl. אין צורך להגיש בקשת גישה או לחכות לאישור, והמאגר פתוח להורדה ישירה דרך ספריית datasets. בגלל שמדובר בטקסטים משפטיים ארוכים שמגיעים למאות מיליוני שורות, מומלץ להזרים את הנתונים בעבודה ראשונית במקום לטעון את כל הקובץ לזיכרון בבת אחת. השדות המרכזיים לעבודה הם text עבור הטקסט המשפטי, ו־type לצד jurisdiction לסינון לפי נושאים וערכאות.
from datasets import load_dataset
ds = load_dataset("isaacus/open-australian-legal-corpus")הרישיון
המאגר עצמו מופץ ברישיון קריאייטיב קומונס ייחוס 4.0, שמתיר שימוש מסחרי ושינויים בתנאי שנותנים קרדיט מתאים. עם זאת, המסמכים עצמם בתוך המאגר נאספו ממקורות ממשלתיים שונים ומופצים תחת רישיונות פתוחים מתאימים שברובם מתירים שימוש מסחרי, אך הרישיון המדווח הכללי מוגדר כאחר. חובה לבדוק את קובץ הרישיונות המצורף לפני אימון מודל שיופץ באופן מסחרי.