legal-rag-bench
קוד פתוחisaacuscc-by-nc-sa-4.02026-02-20
מאגר לבדיקת ביצועי שליפת מידע ומענה לשאלות משפטיות, שמכיל קטעי חוק מאוסטרליה ושאלות מומחים מותאמות. הוא נועד למי שרוצה למדוד בדיוק איפה מערכת השליפה נכשלת לעומת המודל שמייצר את התשובה.
- 865הורדות בחודש
- 24לייקים
מה זה
המאגר מחולק לשני חלקים שכוללים רק ספליט של בדיקה. החלק הראשון מכיל קורפוס של 4,876 פסקאות שחולצו מקובצי וורד של ספר האישומים הפלילי של המכללה השיפוטית של ויקטוריה, הומרו למרקdown וחולקו לפי היררכיה וצ'אנקים של עד 512 תווכים בעזרת אלגוריתם בשם semchunk. בכל רשומה בקורפוס תמצאו מזהה ייחודי ואת טקסט הפסקה.
החלק השני כולל 100 שאלות מורכבות שנכתבו ידנית בידי מומחים לחוק הפלילי של מדינת ויקטוריה, ונוסחו בכוונה עם שונות מילונית גבוהה מהטקסט המקורי כדי להקשות על התאמות מילים פשוטות. כל רשומה בחלק הזה מכילה את השאלה, התשובה שנכתבה בידי מומחה, ומזהה של הפסקה הרלוונטית מתוך הקורפוס שנדרשת כדי לענות עליה.
מתאים ל
- בדיקת מנועי שליפה משפטיים
מדידת יכולת המודל לאתר את הפסקה המדויקת מתוך קורפוס של אלפי קטעים כאשר השאלה נוסחה במילים שונות לגמרי.
- השוואת מודלי שפה בגנרציה
בדיקה אם מודל השפה יודע להפיק תשובה משפטית נכונה ברמת מומחה על בסיס הפסקה שהוזנה לו כהקשר.
- הערכת מערכות RAG מקצה לקצה
זיהוי צווארי בקבוק כדי להבין אם התשובה השגויה נובעת מכישלון בשליפת הפסקה או מחוסר יכולת הסקת מסקנות של המודל.
איפה זה נופל
המאגר כולו באנגלית ומתמקד באופן צר ומוחלט בחוק הפלילי של מדינת ויקטוריה באוסטרליה, כך שהוא לא יעזור לכם לבחון דין ישראלי או שפה עברית. בנוסף, מדובר במדגם קטן מאוד של 100 שאלות בלבד, בלי שום נתוני אימון, מה שאומר שהוא מתאים אך ורק כמבחן הערכה ולא לבניית מודל. אם המערכת שלכם נשענת על התאמת מילים מדויקת, הניסוחים המכוונים של השאלות יגרמו לה להיכשל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון המוגדר הוא CC BY-NC-SA 4.0, שאינו מתיר שימוש מסחרי בשום צורה. הוא מיועד למחקר, להערכה ולבדיקות ביצועים פנימיות בלבד, ודורש מתן קרדיט מלא למחברים.
האם יש במאגר תוכן בעברית או התייחסות לחוק הישראלי?
אין שום תוכן בעברית. כל הנתונים כתובים באנגלית ומבוססים אך ורק על הדין הפלילי של מדינת ויקטוריה באוסטרליה מתוך ספר האישומים המקומי.
האם המאגר מתאים לאימון מודל שפה?
לא. המאגר מכיל רק ספליט של טסט עם 100 שאלות ותשובות וקורפוס פסקאות נלווה. המטרה שלו היא הערכת ביצועים של מערכות קיימות, והיקף השאלות קטן מדי לאימון אפקטיבי.
איך נאספו ונוסחו השאלות?
היוצרים דגמו פסקאות מתוך ספר האישומים וכתבו ידנית 100 שאלות מורכבות שמצריכות ידע משפטי מעמיק. השאלות נוסחו בכוונה במילים שונות מהטקסט המקורי כדי לבדוק הבנה סמנטית ולא רק התאמת מילים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פנייה לשם המאגר עם ציון התת-מאגר הרצוי, corpus או qa, יחד עם הספליט test. המאגר פתוח לחלוטין להורדה ללא צורך בהרשאות מיוחדות, וכולל קובצי jsonl פשוטים ששוקלים מעט מאוד ונטענים בשניות. בשאלות והתשובות חשוב לשים לב לשדה relevant_passage_id שקושר את השאלה ישירות למזהה הפסקה בקורפוס.
from datasets import load_dataset
ds = load_dataset("isaacus/legal-rag-bench")הרישיון
הרישיון שהוגדר הוא cc-by-nc-sa-4.0, ולמרות שבטקסט הכרטיס נכתב CC BY NC 4.0, בשני המקרים אסור כל שימוש מסחרי. מותר להשתמש בנתונים למחקר או לבדיקות פנימיות כל עוד נותנים ייחוס מתאים, אך אסור למכור שירות או מוצר שנשען עליהם, וכל שיתוף של נגזרת מחייב רישיון זהה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא