law-tasks
קוד פתוחAdaptLLMרישיון לא דווח2023-09-19
חבילת מבחנים מובנית להערכת יכולות הבנה והסקה משפטית במודלי שפה. היא כוללת פרומפטים מוכנים למשימות סיווג ומענה על שאלות שנבנו במקור למאמר AdaptLLM מבית מיקרוסופט.
- 214הורדות בחודש
- 37לייקים
מה זה
המאגר מרכז קובצי מבחן עבור שלוש משימות משפטיות שונות באנגלית, ובהן case_hold, scotus, ו unfair_tos. כל משימה מגיעה כקובץ test.json ייעודי, ומכילה דוגמאות בפורמט של הוראות קלט ותשובות יעד מוכנות מראש להערכה במצב אפס דוגמאות או דוגמאות ספורות.
הנתונים נשענים על מקורות משפטיים מוכרים כמו פסקי דין של בית המשפט העליון בארצות הברית ותנאי שימוש מקוונים, שעברו עיבוד לתבניות קריאה והבנה. המחברים לא מפרטים בכרטיס את היקף הדגימות המדויק בכל חלק או את תהליכי הסינון והניקוי המלאים שביצעו, מעבר להמרת הטקסטים לפורמט הפרומפטים ששימש לבדיקת מודל Law-LLM שהציגו במחקר.
מתאים ל
- בנצ'מרק למודלי בסיס
הרצת בדיקות השוואתיות מהירות על מודלי שפה בתחום המשפט באנגלית, לפי הפרומפטים המובנים במאגר.
- שחזור תוצאות ICLR
שחזור ישיר של ציוני המאמר AdaptLLM מול ביצועי Law-LLM במשימות טקסט וסיווג.
- הערכת זיהוי תנאים מקפחים
בדיקת יכולת המודל לסווג סעיפים בעייתיים במסמכי תנאי שימוש באמצעות סט unfair_tos.
איפה זה נופל
כל התוכן מבוסס על השפה האנגלית בלבד, ומתמקד בעולם המשפט האמריקאי והמערבי. למערכת המשפט הישראלית, בעברית או באנגלית, אין כאן שום כיסוי. המאגר מציג רק את חלוקת המבחן ולא כולל סטים לאימון מלא. בנוסף, הכרטיס מודה במפורש שהתבניות המוכנות אינן תואמות למודלי שיחה כמו LLaMA-2-Chat או LLaMA-3-Instruct, אלא מחייבות שימוש בקוד ההערכה הייעודי מהמאגר של הפרויקט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא מומלץ. עמוד המאגר אינו מגדיר רישיון כלל, מה שמשאיר את תנאי השימוש החוקיים בערפל ומקשה על שילובו במוצר מסחרי.
האם יש במאגר דוגמאות בעברית?
לא. כל הנתונים והמשימות כתובים באנגלית בלבד ועוסקים בדין האמריקאי והבינלאומי.
האם הדאטהסט מתאים לאימון מודל חדש?
לא ישירות. המאגר כולל רק קובצי מבחן עם פרומפטים להערכה, ולא את סטי האימון המלאים של אותן משימות.
למה הפרומפטים לא עובדים טוב על מודל צ'אט?
הטקסטים הוכנו מראש עבור מודלי בסיס לפני שלב היישור. מודלי שיחה דורשים מבנה פרומפט אחר, ולכן יש לבצע התאמה לפני ההרצה.
איך טוענים
טוענים את הקבצים ישירות מהמאגר בעזרת ספריית datasets או על ידי הורדת קובצי ה JSON הספציפיים מתוך התיקיות, ללא צורך באישור גישה מוקדם. המאגר מכיל שישה קבצים בלבד ובתוכם קובצי המבחן, כך שהמשקל הכולל קל מאוד וההורדה מיידית. שימו לב שהפרומפטים וההשלמות בתוך קובצי ה JSON הותאמו במיוחד למודלי בסיס שטרם עברו יישור והתאמת שיחה, ולכן אינם מתאימים ישירות להרצה על מודלים מסוג Chat או Instruct בלי התאמת הפורמט.
from datasets import load_dataset
ds = load_dataset("AdaptLLM/law-tasks")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. המשמעות היא שאין הרשאה מפורשת לשימוש מסחרי, להפצה מחדש או לאימון מודלים קנייניים, וזכויות היוצרים על החומרים המשפטיים נותרות מעורפלות. מי שמתכנן להשתמש בזה במוצר חייב להניח שהשימוש מוגבל למחקר אקדמי בלבד.