legalkit
קוד פתוחlouisbrulenaudetcc-by-4.02024-06-24
מאגר מתויג מתוך ספרי החוקים של צרפת שנועד לאימון מודלים של דמיון טקסטואלי ואחזור מידע. הוא חוסך תיוג ידני יקר ומספק שאילתות סינתטיות שנבחרו בקפידה לכל סעיף.
- 140הורדות בחודש
- 34לייקים
מה זה
המאגר מרכז סעיפי חקיקה רשמיים מצרפת ומצמיד לכל אחד מהם שאילתה תואמת לצורכי אימון מודלי שיכון ודמיון משפטים. הרשומות מגיעות מתוך מגוון רחב של קודקסים משפטיים מובילים, כאשר החלק הגדול ביותר שייך לדיני עבודה עם 9,102 מסמכים שמהווים מעל 17% מהמאגר, ודיני מסחר עם 6,800 מסמכים. שאר הנתונים מתפרסים על תחומים פיננסיים, מיסוי, בינוי, ביטחון, רווחה, משפט אזרחי ותחומים נוספים.
התיוג כולו סינתטי ומבוסס על שרשרת עבודה עם המודל LLaMA-3-70B. עבור כל מסמך מקור, שלושה עותקים נפרדים של המודל ייצרו שלוש הצעות שונות לשאילתות. לאחר מכן, מופע רביעי של אותו מודל בחן את שלוש האפשרויות בעזרת פרומפט ייעודי ובחר את השאילתה המתאימה ביותר לתוכן המסמך.
מתאים ל
- אימון מודלי שיכון
התאמת מודלי embedding לשפה הצרפתית בתחום המשפטי באמצעות זוגות של סעיף ושאילתה.
- מנועי חיפוש משפטיים
בניית מערכות אחזור מידע שמאתרות סעיפי חוק רלוונטיים בצרפתית לפי שאלות משתמשים.
- מערכות מענה לשאלות
אימון והערכה של מודלים למשימות שאלות ותשובות על בסיס קודקס החוקים הצרפתי.
איפה זה נופל
המאגר כולו בצרפתית בלבד, ולכן הוא חסר תועלת לחלוטין למי שמחפש לעבוד על דינים ישראליים או טקסטים בעברית. בנוסף, כל התוויות יוצרו על ידי LLaMA-3-70B בלי בקרה אנושית מדווחת, מה שאומר שהטיות מודל והזיות בניסוח השאילתות עלולות לזלוג ישירות לתוך נתוני האימון. חלוקת הנושאים אינה מאוזנת ונוטה בכבדות לדיני עבודה ומסחר, בעוד תחומים כמו המשפט הפלילי מהווים חלק מזערי בלבד.
שאלות
נפוצות
האם המאגר מתאים לשימוש בעברית?
לא. כל הנתונים מבוססים על חוקים מצרפת ונכתבו בצרפתית בלבד. אין במאגר תוכן בעברית או התייחסות לחוק הישראלי.
האם מותר להשתמש בו במוצר מסחרי?
כן. הרישיון הוא cc-by-4.0, שמתיר שימוש מסחרי חופשי ואינו מחייב פתיחת קוד. הדרישה היחידה היא מתן קרדיט מתאים ליוצר.
איך נוצרו השאלות לכל מסמך?
הן נוצרו אוטומטית באמצעות LLaMA-3-70B. שלושה מופעים של המודל ייצרו הצעות לשאילתות לכל סעיף, ומופע רביעי בחר את השאילתה המדויקת ביותר.
כמה רשומות יש במאגר ואיך מקבלים גישה?
המאגר כולל עשרות אלפי רשומות, בטווח שבין 10,000 ל־100,000, ומאוחסן בקובץ Parquet בודד. הגישה פתוחה לכולם ואין צורך בהרשאה מיוחדת.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets בפייתון בעזרת הפקודה load_dataset עם המזהה louisbrulenaudet/legalkit. הנתונים מאוחסנים כולם בקובץ Parquet בודד בתיקיית data תחת השם train-00000-of-00001.parquet, כך שאין צורך באישור גישה מוקדם או בהורדה מורכבת. טווח הרשומות הכולל נע בין 10,000 ל־100,000 מסמכים, והמאגר זמין להורדה מיידית.
from datasets import load_dataset
ds = load_dataset("louisbrulenaudet/legalkit")הרישיון
המאגר מופץ תחת רישיון cc-by-4.0. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים, לשנות אותו, לאמן עליו מודלים ולהפיץ תוצרים, בתנאי שנותנים קרדיט מלא ליוצר המקורי. אין כאן חובת שיתוף באותו רישיון, כך שתוכלו לסגור את המודל המאומן בתוך מוצר קנייני.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס