LEXam
קוד פתוחLEXam-Benchmarkcc-by-4.02025-05-16
שאלות ממבחני משפטים אמיתיים שנועדו לבחון חשיבה משפטית מורכבת במודלי שפה. הוא מציע שאלות פתוחות ואמריקאיות ברמות קושי חריגות, עם עד שלושים ושתיים אפשרויות בחירה.
- 1,900הורדות בחודש
- 48לייקים
מה זה
המאגר כולל שאלות שנלקחו מתוך 340 מבחני משפטים שנערכו בין השנים 2016 ל־2022, ומכסה תחומי שיפוט של שווייץ, המשפט הבינלאומי ומשפט כללי. השאלות נוגעות בתחומים כמו משפט פלילי, ציבורי, פרטי ותחומים בין-תחומיים, ומגיעות באנגלית ובגרמנית.
הנתונים מחולקים לחמישה חלקים נפרדים. חלק אחד מכיל שאלות פתוחות ארוכות עם תשובות ייחוס שנכתבו ונבדקו בידי מומחים משפטיים, ומחולק לערכות פיתוח ומבחן. ארבעת החלקים האחרים מוקדשים לשאלות רב-ברירה ומסווגים לפי כמות המסיחים: 1,655 שאלות עם 4 אפשרויות, 1,463 שאלות עם 8 אפשרויות, 1,028 שאלות עם 16 אפשרויות, ו־550 שאלות מורכבות במיוחד עם 32 אפשרויות בחירה. שאלות הברירה כוללות גם מידע על ניסוחים שליליים או אפשרות של אף אחת מהתשובות אינה נכונה.
מתאים ל
- הערכת מודלים משפטיים
בדיקת יכולת ההסקה וההבנה של מודלי שפה על שאלות ממבחני משפטים אמיתיים באנגלית ובגרמנית.
- מבחן ביצועים במסיחים מרובים
בחינת עמידות המודל בשאלות רב-ברירה קשות עם 8, 16 ו־32 אפשרויות, כולל ניסוחים על דרך השלילה.
- בדיקת תשובות פתוחות
השוואת תשובות טקסטואליות ארוכות מול תשובות מומחים באמצעות שיטות שופט מבוסס מודל שפה.
איפה זה נופל
המאגר מוגבל לשפות אנגלית וגרמנית בלבד, ואין בו שום תוכן בעברית או התייחסות לדין הישראלי. תחומי השיפוט ממוקדים בעיקר בשווייץ ובמשפט בינלאומי, כך שהידע לא מתאים ישירות למערכות משפט אחרות. בנוסף, המבחנים נערכו בין 2016 ל־2022 ולכן אינם כוללים עדכוני חקיקה ופסיקה מאוחרים יותר. בגלל מורכבות השאלות האמריקאיות, שכוללות מסיחים רבים ושאלות בניסוח שולל, מודלים עלולים ליפול על קריאה טכנית ולא על הבנה משפטית מהותית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
כן, הרישיון הוא CC-BY 4.0 שמתיר שימוש מסחרי ומחקרי כאחד. הדרישה היחידה היא לתת קרדיט נאות ליוצרים ולציין קישור לתנאי הרישיון. אין מגבלה על המוצר או המודל שתפתחו בעזרתו.
האם יש במאגר שאלות בעברית או התייחסות לדין הישראלי?
לא, המאגר כולל אך ורק שאלות באנגלית ובגרמנית. הנתונים מתמקדים במשפט שווייצרי, משפט בינלאומי ועקרונות כלליים, ולכן אינם רלוונטיים להערכת מודלים על החוק הישראלי.
מה מקור הנתונים וכיצד הם נאספו?
השאלות נלקחו מתוך 340 מבחנים אמיתיים בלימודי משפטים שנערכו בשנים 2016 עד 2022. התשובות לשאלות הפתוחות נכתבו ואומתו על ידי מומחים משפטיים בתחומים שנבחנו.
מה מייחד את שאלות הרב-ברירה במאגר הזה?
בניגוד למבחנים סטנדרטיים עם ארבע אפשרויות, המאגר מחולק לקבוצות של 4, 8, 16 ואף 32 מסיחים לשאלה. בנוסף, רבות מהשאלות מנוסחות בשלילה או כוללות אפשרות שאף תשובה אינה נכונה, מה שמקשה מאוד על ניחוש מקרי של המודל.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות פקודת load_dataset, תוך ציון שם החלק הרצוי, למשל open_question או mcq_4_choices. הקבצים יושבים בפורמט Parquet פתוח להורדה ואין צורך בבקשת גישה מיוחדת. בשאלות האמריקאיות חשוב לעבוד עם השדות choices ו־gold כדי לחלץ את מיקום התשובה הנכונה, ובשאלות הפתוחות השדה answer משמש כתשובת הייחוס להערכה.
from datasets import load_dataset
ds = load_dataset("LEXam-Benchmark/LEXam")הרישיון
המאגר מופץ תחת רישיון CC-BY 4.0. הרישיון מתיר שימוש מסחרי ומחקרי, עריכה, שינוי ושילוב במוצרים אחרים, בתנאי שניתן קרדיט מתאים ליוצרים ומצוין קישור לרישיון. אין חובה לשתף נגזרות או מודלים באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס