legi
קוד פתוחAgentPublicetalab-2.02025-07-16
המאגר מרכז את החקיקה והפסיקה הצרפתית הרשמית ממאגר LEGI כשהיא כבר מחולקת למקטעים ומווקטרת. הוא חוסך שבועות של עיבוד ווקטורי כבד למי שבונה מנוע חיפוש או סוכן משפטי בצרפתית.
- 2,465הורדות בחודש
- 19לייקים
מה זה
הנתונים מגיעים ישירות ממאגרי המידע הפתוחים של DILA ומאתר data.gouv.fr, וכוללים חוקים, קודקסים, תקנות וצווים משנת 1945. המאגר מכיל בין מיליון לעשרה מיליון רשומות, ומכסה לא רק סעיפים בתוקף אלא גם חוקים היסטוריים שבוטלו, הוחלפו או שונו עם השנים. כל רשומה מייצגת מקטע טקסט עם מטא-דאטה עשיר שכולל שיוך משרדי, כותרות מלאות, מספרי סעיפים, תאריכי תוקף ורשימת קישורים משפטיים בין מסמכים.
המקטעים נוצרו באמצעות RecursiveCharacterTextSplitter עם גודל מקטע של 1024 טוקנים וללא חפיפה, בהתבסס על הטוקנייזר של מודל BAAI/bge-m3. הטקסט בכל רשומה כולל שרשור של הכותרת המלאה, מספר הסעיף ותת הכותרות לצד גוף הטקסט עצמו. המאגר מחולק בתוכו לתיקיות משנה לפי קטגוריות וקודקסים שונים כדי לאפשר שליפה ממוקדת של תחומים ספציפיים בחוק.
מתאים ל
- מערכת RAG משפטית בצרפתית
שליפת סעיפי חוק רלוונטיים באמצעות הווקטורים המוכנים של bge-m3 ללא צורך בשלב אינדוקס ראשוני.
- אימון מודלי שפה לתחום המשפט
שימוש במיליוני רשומות חקיקה מובנות כדי ללמד מודל מונחים וניסוחים משפטיים פורמליים בצרפתית.
- ניתוח היסטורי של חקיקה
מעקב אחר שינויי נוסח של סעיפים לאורך עשרות שנים באמצעות שדות הסטטוס, התאריכים ורשימת הקישורים.
איפה זה נופל
המאגר כתוב כולו בצרפתית בלבד ואינו כולל תרגום או התאמה לשפות אחרות. החיסרון המשמעותי ביותר בעבודה מעשית הוא הכללת כל הסטטוסים ההיסטוריים כברירת מחדל: אם לא תסננו מפורשות לפי שדה status עם הערך VIGUEUR, המודל ישלוף סעיפים שבוטלו או תוקנו ויחזיר מידע משפטי שגוי. בנוסף, חלוקת המקטעים נעשתה ללא חפיפה בכלל, מה שעלול לחתוך הקשרים משפטיים באמצע משפט. אם המודל שלכם דורש וקטורים אחרים ולא bge-m3, עמודת האמבדינגס הקיימת סתם תופסת לכם מקום בזיכרון ותצטרכו לבנות אותה מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון etalab-2.0 מתיר שימוש מסחרי מלא ללא תשלום. התנאי העיקרי הוא מתן ייחוס מתאים למקור הממשלתי הצרפתי DILA. אין מניעה למכור גישה למערכת או מודל שמשתמשים במידע הזה.
האם המאגר כולל עברית או תרגום כלשהו?
לא, המאגר מבוסס על החקיקה הרשמית של צרפת וכולל אך ורק טקסטים בשפה הצרפתית. אם המוצר שלכם פונה לקהל ישראלי או דורש ניתוח בעברית, תצטרכו לתרגם את הנתונים בעצמכם או להשתמש בו עבור לקוחות שמתעניינים בדין הצרפתי.
איך מחזירים את הטקסט המקורי אם החלוקה למקטעים לא מתאימה לי?
היוצרים מספקים קוד שמסביר כיצד לחבר בחזרה את המקטעים למסמך המקורי לפי doc_id ו־chunk_index. מכיוון שהחלוקה בוצעה ללא חפיפה בין מקטעים, קל לשחזר את הרצף המלא. לאחר מכן תוכלו לחתוך את הטקסט לפי גודל מותאם אישית.
למה הווקטורים שמורים כמחרוזת ולא כמספרים?
בפורמט שבו הקבצים נשמרו, עמודת האמבדינגס מכילה טקסט שמייצג רשימת ערכים. כדי לעבוד איתם בפייתון חובה להריץ פונקציה כמו json.loads על כל רשומה. זה מוסיף צעד עיבוד קטן אבל מאפשר לטעון את הקבצים בכל כלי שתומך ב־Parquet.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות load_dataset על AgentPublic/legi, או שמורידים ידנית את קובצי ה־Parquet, שמספרם מגיע ל־3,027 קבצים. הגישה חופשית ואינה דורשת אישור מוקדם. נקודה שחייבים להכיר לפני שמתחילים: עמודת הווקטורים embeddings_bge-m3 שמורה כמחרוזת טקסט שמייצגת רשימה, ולא כמערך בינארי. לפני שמזינים אותה לבסיס נתונים וקטורי, צריך להמיר אותה באמצעות json.loads. השדות המרכזיים לעבודה שוטפת הם chunk_text שמכיל את התוכן המלא לחיפוש, status לסינון תוקף החוק, ו־links שמרכז קשרים למסמכים אחרים.
from datasets import load_dataset
ds = load_dataset("AgentPublic/legi")הרישיון
המאגר מופץ תחת רישיון etalab-2.0 הפתוח של ממשלת צרפת. הרישיון מתיר שימוש מסחרי וחופשי לחלוטין, כולל אימון מודלים, שינוי הנתונים והפצתם מחדש. הדרישה המרכזית היא מתן קרדיט וייחוס למקור הממשלתי הצרפתי. אין חובת שיתוף באותו רישיון, כך שמודל שאומן על הנתונים אינו מחויב להיפתח לציבור.