vietnamese-legal-documents

מה זה

המאגר מכיל חוקים, צווים, חוזרים והחלטות ממשלתיות שנאספו ישירות מהפורטל הממשלתי של משרד המשפטים הווייטנאמי באמצעות סקרייפר ייעודי. הנתונים מחולקים לחמש תצורות שונות לפי צורכי העבודה.

בתצורה העדכנית יש שלוש חלוקות: מטא דאטה עם 17 שדות מקוריים בוייטנאמית לכל מסמך, קובץ תוכן שמכיל את הטקסט המלא כמחרוזת HTML גולמית, וגרף קשרים של למעלה ממיליון חיבורים המגדירים תיקונים, ביטולים וציטוטים בין מסמכים. לצד אלה קיימות שתי תצורות ישנות שמכילות מעל חצי מיליון מסמכים בטקסט נקי, עם שמות שדות באנגלית אך עם מבנה נתונים שטוח יותר.

מתאים ל

• אימון מודלי שפה למשפט

  לימוד ייצוגי שפה והבנת הנקרא על מסמכי חקיקה וצווים רשמיים בווייטנאמית.

• בניית גרף ידע משפטי

  מעקב אחרי שרשראות ציטוטים, תיקוני חקיקה וביטולי צווים באמצעות גרף הקשרים.

• מערכות שליפה ותמצות

  אימון מנועי RAG לחילוץ תשובות ותקצירים מתוך טקסטים רגולטוריים מורכבים.

איפה זה נופל

הנתונים הם תמונת מצב נקודתית ולא סנכרון חי, ולכן סטטוס התוקף המשפטי עלול לפגר אחרי המציאות. 732 מסמכים במטא דאטה מגיעים ללא תוכן טקסטואלי כי במקור הם קובצי PDF בלבד, ובגרף ההפניות יש מעל 17 אלף מזהי יעד שלא קיימים במאגר. כל התוכן הוא בוייטנאמית בלבד, כך שלמפתחים ישראלים אין כאן שום נגיעה לעברית, וצריך לנקות תגיות HTML לפני שמאמנים מודלים על התוכן העדכני.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets על ידי ציון שם התצורה הרצויה, למשל metadata, content או relationships, ללא צורך בהרשאות גישה מיוחדות. שימו לב שבגרסה הנוכחית מזהי המסמכים הם מחרוזות ולא מספרים, כיוון שהם כוללים UUID וקידומות של הפורטל. כדי לחבר בין טקסט החוק לקשרים המשפטיים שלו, ממזגים בין השדה id במטא דאטה לבין doc_id בגרף הקשרים.

from datasets import load_dataset

ds = load_dataset("th1nhng0/vietnamese-legal-documents")

הרישיון

המאגר מופץ ברישיון קריאייטיב קומונס ייחוס 4.0, ומסמכי המקור עצמם מוגדרים ברשות הציבור לפי החוק בווייטנאם. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולאמן עליו מודלים, בתנאי שנותנים קרדיט מתאים ליוצר. אין חובה לשתף נגזרות באותו רישיון.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗