regulatory_comments
קוד פתוחro-hרישיון לא דווח2024-02-04
המאגר מרכז תגובות של הציבור האמריקאי להצעות חקיקה ממשלתיות בנושאי שימוש בחומרים ממכרים. הוא נותן גישה נוחה למדגם קטן ומנוקה מתוך ממשק ממשלתי שלרוב קשה ומסורבל לעבוד איתו.
- 550הורדות בחודש
- 46לייקים
מה זה
כל רשומה במאגר מייצגת תיק רגולטורי יחיד של סוכנות פדרלית, כמו ה־FDA, שכולל מטא-דאטה על התיק ומערך של עד עשרה פריטים המייצגים את התגובות הראשונות שהוגשו לו לפי סדר הרלוונטיות במערכת המקורית. הנתונים נמשכו ישירות מתוך ה־API הציבורי של Regulations.gov, תוך סינון רק לתיקים שמזכירים שימוש בחומרים ממכרים ושקיימת בהם לפחות תגובה אחת ציבורית.
בסך הכל המאגר מחזיק כ־100 תיקים בלבד בגלל מגבלות קצב של הממשק הממשלתי. תהליך העיבוד כלל ניקוי של תגיות HTML מטקסט התגובות, אבל שמר על הטעויות והניסוחים המקוריים של הכותבים. כל תגובה כוללת מזהה ייחודי, קישור למקור, תאריך ושעה, שם המגיב אם היה זמין, אורך התוכן ומחרוזת הטקסט המלאה שנשלחה.
מתאים ל
- ניתוח סנטימנט אזרחי
בדיקת עמדות הציבור כלפי יוזמות רגולציה בנושאי חומרים ממכרים.
- בדיקת אורך ומעורבות
השוואת אורך התגובות והיקף הטקסט בין סוכנויות פדרליות שונות.
- פיתוח מודל סיווג ראשוני
אימון ולידציה של מסווגים על טקסט קצר מתוך דיונים ציבוריים.
איפה זה נופל
זהו מאגר קטן מאוד שמכיל פחות מאלף רשומות, כולו באנגלית אמריקאית, ואינו רלוונטי למי שמחפש היקף נתונים רחב או חקיקה ישראלית. הבעיה העיקרית מגיעה משיטת האיסוף: תגובות שהוגשו כקובצי PDF מצורפים מופיעות כערך ריק כי הממשק הממשלתי לא מחלץ אותם. מכיוון שארגונים וחברות גדולות נוטים להגיש ניירות עמדה כקבצים מצורפים ואילו אנשים פרטיים כותבים בתיבת הטקסט, התוכן מוטה באופן כבד לדעות של יחידים ומפספס את המגזר העסקי והלוביסטים.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. המאגר כולו מבוסס על נתוני הממשל האמריקאי ומכיל טקסטים באנגלית בלבד.
האם המאגר מתאים לשימוש מסחרי?
יוצר המאגר לא דיווח על רישיון כלל. ללא רישיון מוצהר, לא מומלץ להשתמש בו במוצרים מסחריים בלי לברר קודם את הזכויות על הנתונים.
כמה רשומות ותגובות יש בו בפועל?
יש במאגר כ־100 תיקים פדרליים בלבד. בכל תיק נשמרו לכל היותר עשר התגובות הראשונות, כך שמדובר במדגם של פחות מאלף תגובות בסך הכל.
למה חלק משדות הטקסט של התגובות מגיעים ריקים?
חברות וארגונים רבים מגישים תגובות כקובצי PDF מצורפים. ה־API שממנו נאסף המידע לא קורא קבצים מצורפים, ולכן במקרים האלה הטקסט מופיע כריק.
איך טוענים
המאגר שמור מראש וכולל קובצי Parquet ו־JSON כמו docket_comments_v6.parquet, כך שלא צריך מפתח API ממשלתי כדי להתחיל לעבוד. אפשר לטעון אותו ישירות דרך ספריית datasets בלי צורך באישור גישה מיוחד. כדאי לשים לב שמבנה התגובות מגיע כמילון של רשימות בתוך רשומת התיק, והשדות העיקריים לניתוח הם text של התגובות לצד id ו־agency של התיק.
from datasets import load_dataset
ds = load_dataset("ro-h/regulatory_comments")הרישיון
ליוצר המאגר לא מוגדר רישיון בדף, מה שאומר שהמצב המשפטי שלו לא ברור ולא מומלץ להכניס אותו ישירות למוצר מסחרי. החומרים מגיעים מממשלת ארצות הברית ולרוב הם ברשות הציבור, אבל ללא הצהרת רישיון מפורשת על המאגר עצמו, הסיכון בשימוש מסחרי נשאר על מי שמשתמש בו.