lawinstruct
קוד פתוחlawinstructmit2024-04-01
מאגר ענק של עשרות מיליוני רשומות לאימון הוראות בתחום המשפטי בשפות מרובות. הוא מתאים למי שבונה מודלים שמנתחים פסקי דין, שאלות משפטיות ומבחני לשכה במגוון מדינות.
- 1,104הורדות בחודש
- 32לייקים
מה זה
המאגר מאגד מגוון מקורות משפטיים מרחבי העולם שהומרו לפורמט של הוראה ותשובה. אפשר למצוא כאן החלטות שיפוטיות, שאלות ממבחני לשכה, שאלות רב ברירה וסיווג תחומי משפט, למשל מתוך קבצים כמו BVADecisions ו־BrCAD5. היוצרים מציינים שהם בנו את המאגר באמצעות קוד ייעודי, והסירו מקורות כמו CiviproQuestions, COLIEE, JECQA ו־MBE בגלל מגבלות רישיון.
המבנה הפנימי מחזיק שדות מפורטים לכל דוגמה, כולל שם תת המאגר, כתובת המקור, תחום השיפוט, סוג המשימה, שפת הפרומפט, שפת התשובה, חותמת זמן והטקסט המלא שכולל את השאלה והמענה. כל המידע מרוכז תחת חלוקת אימון אחת בלבד, ללא חלוקה מובנית מראש לבדיקה או ולידציה.
מתאים ל
- אימון מודלים משפטיים
התאמת מודלי שפה למענה על שאלות וניתוח טקסטים משפטיים.
- סיווג תחומי שיפוט
זיהוי תחום המשפט והנושא מתוך פסקי דין ומסמכים רשמיים.
- פתרון מבחני לשכה
הערכת היכולת של מודלים להתמודד עם שאלות רב ברירה משפטיות.
איפה זה נופל
עברית לא נתמכת כאן, והרשימה כוללת בעיקר שפות אירופיות לצד סינית, יפנית וקוריאנית. הכרטיס לא מפרט כיצד נוקו שמות ופרטים מזהים, מה שדורש בדיקה עצמאית של פרטיות לפני שימוש במידע משפטי רגיש. בנוסף, חסר פירוט על הטיות פסיקה או תקופות הזמן שמהן נלקחו התיקים, כך שתצטרכו לסנן לבד לפי מקורות.
שאלות
נפוצות
האם המאגר מתאים לשימוש מסחרי?
כן, המאגר פורסם תחת רישיון MIT שמאפשר שימוש מסחרי מלא. היוצרים אף הסירו מראש ארבעה מקורות נתונים בעלי רישיונות מגבילים כדי להבטיח שהגרסה הציבורית תישאר פתוחה.
האם יש במאגר נתונים בעברית?
לא, עברית אינה מופיעה ברשימת השפות הנתמכות. המאגר מכסה שפות אירופיות רבות לצד אנגלית, סינית, יפנית וקוריאנית בלבד.
איך מחולק המידע לצורכי אימון ובדיקה?
כל המידע מגיע בחלוקת train בלבד. מי שרוצה לבצע הערכה או בדיקה נפרדת יצטרך לפצל את הרשומות בעצמו לפני תחילת העבודה.
איך טוענים
הקבצים שמורים בפורמט jsonl דחוס ב־xz ומחולקים ל־150 מקטעים שונים. אין צורך בבקשת גישה מיוחדת כדי להוריד את החומר. תצטרכו לפתוח את הדחיסה ולטעון אותם בסקריפט מתאים, כאשר השדות החשובים לסינון מוקדם הם jurisdiction לקביעת מערכת החוק, task_type לסוג המשימה, ושדות השפה לפני שמושכים את שדה ה־text לאימון.
from datasets import load_dataset
ds = load_dataset("lawinstruct/lawinstruct")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של החומר והמודלים המאומנים, בכפוף למתן קרדיט וצירוף עותק הרישיון המקורי. היוצרים כבר ניפו מקורות בעייתיים כדי לאפשר את הפתיחות הזו.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש