Nemotron-Pretraining-Legal-v1

מה זה

המאגר כולל תשעה נקודה שש מיליון רשומות שמחולקות לכמה חלקים ברורים. חלק אחד מגיע ישירות ממקורות חוקתיים בארצות הברית, כמו תקנות קליפורניה, קובץ התקנות הפדרלי וחוות דעת של אתיקה שיפוטית מניו יורק. חלק אחר מבוסס על מאגרי פסיקה וחוזים מוכרים כמו קייסלאו, קייס-הולד וחוזי סי-יו-איי-די שעברו סידור מחדש לתבניות מבחן ושאלות סגורות.

המשקל המרכזי מגיע מטקסט סינתטי שנוצר באמצעות מודל קוון שלוש. החלק הגדול ביותר מכיל חמישה נקודה ארבעה מיליון סיכומים של החלטות שיפוטיות, ובנוסף קיימים תתי-מאגרים שמתמקדים בסיווג תפקידי פסקאות בפסק דין, שאלות על תנאי שימוש והבנת סעיפי סודיות.

המבנה של כל רשומה כולל שדה טקסט ראשי לאימון, שדה רישיון, מזהה ייחודי ומטא-דאטה. בחלק מהקבצים יש צורך לחבר מחדש את הטקסט למסמכי המקור כדי לקבל דוגמה שלמה.

מתאים ל

• אימון מקדים למודלים משפטיים

  הרחבת אוצר המילים ויכולת הניתוח של מודלי שפה על פסיקה וחוזים באנגלית.

• ניתוח סעיפי חוזים

  בניית מנגנונים שמזהים סעיפים חריגים ומסווגים התניות בתנאי שימוש.

• סיווג מבנה פסק דין

  זיהוי אוטומטי של עובדות, ניתוח משפטי והכרעות מתוך טקסט שיפוטי גולמי.

איפה זה נופל

כל הטקסטים כאן באנגלית בלבד. הם מתרכזים במשפט אמריקאי, ולכן המאגר לא יעזור למי שבונה מודל שמיועד לדין הישראלי או לשפות אחרות.

חלק עצום מהנפח, כולל יותר מארבעה מיליארד טוקנים של סיכומי פסיקה, נכתב בידי מודל שפה. אם אתם מכניסים את הנתונים למוצר משפטי אמיתי, חובה לבדוק הזיות בסיכומים האלה. בנוסף, חסר כאן פירוט על תאריכי הפסיקות המדויקים, מה שעלול לייצר פערים סביב חקיקה שהשתנתה.

איך טוענים

הנתונים מגיעים בקובצי פרקט במשקל כולל של שבעה גיגה-בייט, כך שאפשר להוריד ולטעון אותם בקלות במחשב עבודה חזק בלי אישורי גישה מיוחדים. הטעינה נעשית ישירות דרך ספריית דאטהסטס מתוך עשרים וארבעה קבצים.

שימו לב שלפני אימון מלא חייבים לעבד שלושה תתי-מאגרים. בחלק של חוזי האן-אל-אי צריך להריץ סקריפט המרה ייעודי שמצורף לפרויקט, ובתתי-המאגרים של תנאי השימוש הטקסטים מכילים תגיות ריקות שצריך להחליף מול קובצי המקור לפי המטא-דאטה.

from datasets import load_dataset

ds = load_dataset("nvidia/Nemotron-Pretraining-Legal-v1")

הרישיון

המאגר מופץ תחת רישיון סי-סי ביי ארבע אפס, שמתיר שימוש מסחרי, שינוי ושילוב במוצרים. החובה היחידה היא לתת קרדיט מתאים ליוצרים. המודלים שמאומנים על הטקסטים האלה לא מחויבים ברישיון פתוח, כך שאתם יכולים להשתמש בהם גם במערכות קנייניות וסגורות.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗