open-australian-legal-qa
קוד פתוחisaacusother2023-11-18
המאגר כולל 2,124 זוגות של שאלות ותשובות מהמשפט האוסטרלי שסונתזו על ידי מודל שפה. הוא מיועד למי שרוצה לאמן או לבדוק עוזרים משפטיים שמבינים את הדין באוסטרליה.
- 566הורדות בחודש
- 23לייקים
מה זה
הנתונים נבנו מתוך דגימה אקראית של 2,124 מסמכים מתוך המאגר המשפטי הפתוח של אוסטרליה, למעט הצעות חוק ומסמכים ריקים. כל מסמך פוצל למקטעים סמנטיים של עד 384 טוקנים באמצעות הספרייה semchunk. היוצרים סיננו החוצה מקטעים קצרים מדי מתחת ל־96 טוקנים, תוכן עניינים ורצפי רווחים, ובחרו מקטע בודד מכל מסמך.
המקטע הנקי הוכנס לתוך פרומפט ונשלח למודל gpt-4 עם טמפרטורה 0. התשובות של המודל עובדו באמצעות ביטוי רגולרי כדי לחלץ את השאלה ואת התשובה, ופלט לא תקין נזרק החוצה. כל שורה בקובץ qa.jsonl כוללת את השאלה, התשובה, שדה טקסט מאוחד, הפרומפט המדויק שנשלח, ומילון מקור שמכיל את נתוני המסמך המקורי ואת מקטע הטקסט שעליו התבססה התשובה.
מתאים ל
- אימון עוזרים משפטיים
כוונון עדין של מודלי שפה למתן מענה לשאלות משפטיות באנגלית על בסיס הדין האוסטרלי.
- הערכת ביצועי מודלים
מבחן ביצועים לשאלות ותשובות בתחום המשפט האוסטרלי מול תשובות שחולצו ממקור מוסמך.
- מערכות אחזור מידע
בדיקת יכולת המערכת לאתר את מקטע המקור הנכון עבור שאלה משפטית ספציפית.
איפה זה נופל
כל התוכן סונתז באופן מלא על ידי gpt-4 ולא נכתב או אומת בידי עורכי דין אנושיים, כך שעלולות להיות הזיות עובדתיות או אי דיוקים משפטיים. החומר מבוסס על מקטעים בודדים של עד 384 טוקנים, מה שמונע הקשר רחב על תיקים מורכבים. הנתונים באנגלית בלבד, מתמקדים בדין האוסטרלי מנובמבר 2023 ומטה, ואינם רלוונטיים לחוק הישראלי.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצרים מסחריים?
הרישיון מוגדר כ־other ומפנה לקובץ הרישיון של פרויקט המקור. תנאי השימוש המסחרי וההפצה מחדש לא מפורטים ישירות בעמוד, ולכן צריך לבדוק את הקובץ LICENCE.md במאגר המקורי לפני שמתחילים לאמן.
האם יש במאגר נתונים בעברית?
לא. כל הטקסטים, השאלות והתשובות מנוסחים באנגלית בלבד ועוסקים בחוק ובפסיקה של אוסטרליה.
מאיפה הגיעו השאלות והתשובות?
הן לא נכתבו בידי בני אדם אלא חולצו מתוך מקטעי טקסט של המאגר המשפטי הפתוח של אוסטרליה. המקטעים נשלחו ל־gpt-4 שייצר עבור כל מקטע שאלה ותשובה מתאימות, ואלו נשלפו בעזרת ביטוי רגולרי.
כמה רשומות יש בדאטהסט ומה גודלו?
המאגר קטן מאוד ומכיל 2,124 זוגות של שאלות ותשובות בסך הכל. הוא מאוחסן בקובץ qa.jsonl יחיד ונטען במהירות בעזרת ספריית datasets.
איך טוענים
טוענים את המאגר ישירות בספריית datasets של Hugging Face תחת השם isaacus/open-australian-legal-qa והפיצול train. אין צורך באישור גישה מוקדם. הקובץ המרכזי הוא qa.jsonl, וכדי לזרז את הקריאה שלו המפתחים ממליצים להתקין את ספריית orjson. המבנה פשוט מאוד ומכיל את שדות השאלה, התשובה ומקור המידע.
from datasets import load_dataset
ds = load_dataset("isaacus/open-australian-legal-qa")הרישיון
הרישיון מוגדר במאגר בתור other ומפנה לתנאי הרישיון של המאגר המקורי, Open Australian Legal Corpus, בקובץ LICENCE.md. הפרטים המלאים על שימוש מסחרי והפצה אינם מפורטים בעמוד עצמו, ולכן חובה לפתוח את הקובץ במאגר ולוודא מה מותר לפני שמכניסים אותו לפיתוח מודל.