gazzetta-ufficiale

מה זה

הנתונים מגיעים ישירות מתוך הפרסומים של הרשומות הרשמיות באיטליה, בשיתוף משרד המשפטים המקומי. המאגר מכיל בין מיליון לעשרה מיליון רשומות שמחולקות לחמישה מדורים עיקריים. החלק הכללי כולל את כל החוקים והצווים של השלטון המרכזי והאזורי.

שאר החלקים ממוקדים יותר ומכילים פסיקות והחלטות של בית המשפט לחוקה, חקיקה אזורית מהמחוזות השונים, הודעות על מכרזים ממשלתיים לגיוס עובדים ומשנת 2007 גם מכרזי רכש וחוזים ציבוריים. מדובר בטקסטים בירוקרטיים מורכבים במיוחד שנכתבו בידי גורמים ממשלתיים שונים, ללא סינון או עריכה נוספת מעבר לפרסום המקורי.

מתאים ל

• אימון מודלי שפה באיטלקית

  חומר גלם מסיבי לאימון מקדים או התאמה של מודלים שמיועדים להבנת טקסטים מנהליים וחוקתיים.

• ניתוח מכרזים ורכש ציבורי

  אימון מודלים לחילוץ נתונים מתוך מסמכי התקשרויות של גופים ממשלתיים.

• חיפוש בפסיקות חוקתיות

  בניית כלי אחזור מידע שמיועדים להחלטות וצווים של בית המשפט לחוקה האיטלקי.

איפה זה נופל

החומר כולו באיטלקית בלבד ואין בו שום ייצוג לשפות אחרות. המפרסמים מציינים מפורשות שהגרסה הדיגיטלית אינה נחשבת לטקסט הרשמי המחייב במקרה של סתירה מול המקור המודפס, כך שלא מומלץ להסתמך עליה לפסיקה משפטית עיוורת בלי בדיקה אנושית. מעבר לכך, אין בתיעוד שום מידע על טווח השנים המדויק שנאסף או על הסרת פרטים מזהים של אזרחים שנכללו במכרזים ובמסמכים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית הדאטהסטס מתוך הנתיב של המאגר, ללא צורך באישור גישה מראש. המידע מחולק לחמישה עשר קובצי פארקט שונים שמרכיבים את סט האימון, כך שלא מדובר בקובץ בודד. שמות הקבצים והסיומות מעידים על מבנה שמתאים לטעינה במנות, וסכמת השדות המדויקת מתגלה בזמן הטעינה הראשונית של השורות.

from datasets import load_dataset

ds = load_dataset("mii-llm/gazzetta-ufficiale")

הרישיון

הפרויקט מופץ תחת רישיון MIT, מה שמאפשר שימוש חופשי לגמרי כולל שימוש מסחרי, שינוי ואימון מודלים. הרישיון דורש רק שמירה על הקרדיט ליוצרים. המקור הממשלתי האיטלקי דורש בנוסף לציין את המקור בעת שכפול הטקסטים ולהבהיר שהעותק האלקטרוני אינו מהווה מקור רשמי ומחייב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗