regulatory_comments_api
קוד פתוחro-hרישיון לא דווח2024-02-18
הממשל האמריקאי פותח תקנות להערות הציבור, והקוד כאן מושך אותן ישירות מהממשק הממשלתי. הוא מתאים למי שחוקר מדיניות ציבורית ורוצה לבדוק תגובות אזרחים לפי נושאים.
- 47הורדות בחודש
- 41לייקים
מה זה
בניגוד למאגרים רגילים, לא מחכה כאן קובץ נתונים מוכן. מדובר בסקריפט שפונה ל־Regulations.gov, מושך תיקי חקיקה שהגדרתם, ומחלץ לכל תיק את עשר התגובות הראשונות שהופיעו בעמוד הראשון של התוצאות.
כל רשומה מייצגת תיק חקיקה בודד עם פרטים כמו מזהה, סוכנות יוזמת, כותרת, מטרת ההליך, מילות מפתח ותאריכי עדכון. תחת כל תיק נשמר מערך של תגובות הכולל את מזהה התגובה, קישור, תאריך ושעה, שם המגיב אם קיים, אורך התווים והטקסט המלא שממנו נוקו רק תגיות HTML. תיקים נטולי תגובות מסוננים החוצה באופן אוטומטי.
מתאים ל
- ניתוח סנטימנט להצעות חוק
בדיקת עמדות הציבור ותגובות רגשיות כלפי טיוטות תקנות של סוכנויות ממשלתיות שונות בארצות הברית.
- חקר התנהגות מגיבים
השוואת אורך התגובות וסגנון הכתיבה בין אזרחים פרטיים לבין ישויות וארגונים שונים לפי סוג הרגולציה.
- סיווג תגובות לפי נושאים
אימון מודלים לסיווג טקסטים של ביקורת ציבורית בהתאם לסוכנות הממשלתית או למילות המפתח של התיק.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על רגולציה אמריקאית, כך שאין כאן שום רלוונטיות ישירה למשפט ישראלי או לעברית. שמות המגיבים נוספו למערכת הממשלתית רק בשלב מאוחר ולכן נעדרים בחלק מהרשומות. תגובות שהוגשו כקובץ מצורף במקום טקסט מופיעות כערך ריק כי הממשק אינו סורק קבצים. בנוסף, חילוץ עשר התגובות הראשונות בלבד לפי סדר ההחזרה יוצר מדגם חלקי שאינו מייצג בהכרח את כלל הציבור באותו הליך.
שאלות
נפוצות
האם אפשר להשתמש בזה לפרויקט מסחרי?
לא מומלץ בכלל. למאגר לא צורף רישיון, ומבחינה חוקית אין הרשאה מפורשת לשימוש מסחרי בקוד או באופן הפקת הנתונים. אם אתם בונים מוצר מסחרי, עדיף לפנות ישירות לממשק הממשלתי ולפעול לפי תנאי השימוש הרשמיים שלו.
כמה מקום הדאטהסט הזה תופס?
המאגר כולל שלושה קבצי קוד ותיעוד בלבד ואינו מכיל נתונים מראש. נפח האחסון תלוי בכמות התיקים שתמשכו בפועל דרך הסקריפט, אך בגלל מגבלות הממשק מדובר על עשרות בודדות של תיקים בכל ריצה רגילה.
האם יש במאגר טקסטים בעברית?
אין שום תוכן בעברית. כל הנתונים מגיעים ישירות מאתר הרגולציה של הממשל הפדרלי בארצות הברית, והתגובות כתובות כולן באנגלית.
מה ההבדל בין המאגר הזה לגרסה הרגילה שלו?
הגרסה הזו מריצה קריאות חיות לממשק של Regulations.gov בזמן אמת ומחייבת מפתח גישה אישי והמתנה ארוכה. לעומת זאת, היוצר מחזיק מאגר נפרד בשם regulatory_comments שמכיל נתונים שהורדו מראש ללא צורך בהפעלת הסקריפט.
איך טוענים
טעינת הנתונים דורשת מפתח גישה אישי מאתר open.gsa.gov ורשימת מזהי תיקים שמעניינים אתכם, אותם מזינים לקוד ההפעלה. ההרצה איטית מאוד. מגבלת הממשק עומדת על 1,000 קריאות בשעה, ובגלל שכל טקסט תגובה דורש קריאה נפרדת, אפשר לחלץ כ־60 עד 70 תיקים בשעה, תהליך שלוקח בערך עשר דקות. התוצר נשמר במבנה מילוני מקונן של ספריית הנתונים של HuggingFace.
from datasets import load_dataset
ds = load_dataset("ro-h/regulatory_comments_api")הרישיון
היוצר לא הגדיר רישיון במאגר. מבחינה משפטית, היעדר רישיון משאיר את זכויות השימוש מעורפלות ומונע שימוש מסחרי בטוח או שילוב במודל ייצורי, אף שמדובר בטקסטים שמקורם במידע ציבורי ממשלתי.