NC_Crime
קוד פתוחzwn22unknown2024-01-31
נתוני תקריות משטרה מארבע ערים בצפון קרוליינה בין 2015 ל־2024. הקובץ מתאים למי שבונה מודלים מרחביים או חיזוי פשיעה עירונית על מידע מובנה באנגלית.
- 129הורדות בחודש
- 33לייקים
מה זה
המאגר מאחד דיווחי משטרה גולמיים מפורטלי המידע הפתוח של קארי, צ'אפל היל, דורהאם וראלי. המקורות המקוריים הכילו יחד מעל 860,000 שורות במבנים שונים לחלוטין: קארי עם 116,317 שורות ו־34 עמודות, צ'אפל היל עם 101,828 שורות, דורהאם עם 149,924 שורות, וראלי שמחזיקה בנתח הגדול ביותר של 493,912 שורות.
היוצר מיזג את ארבעת המקורות לסכמה אחידה וזרק שורות עם שדות חסרים. הרשומות המעובדות כוללות עמודות כמו עיר, שנה, חותמת זמן של האירוע, קואורדינטות גיאוגרפיות, כתובת מדויקת, סטטוס סגירת התיק והערות חופשיות על נשק. בנוסף, סוגי העבירות סווגו מחדש לקטגוריות ראשיות ומשניות, לצד שדה חומרת עבירה שמחלק את המקרים לשלוש רמות קבועות.
מתאים ל
- חיזוי עונתיות פשיעה
אימון מודלים של סדרות עיתיות לזיהוי מגמות ושינויים בדפוסי עבירות לאורך עשור של נתונים מתוזמנים.
- מיפוי גיאוגרפי של מוקדים
הפעלת אלגוריתמי אשכול על קואורדינטות מדויקות לאיתור מוקדי פשיעה עירוניים וחלוקת משאבים.
- סיווג חומרת עבירות
בניית מסווג טקסט הממפה תיאורי אירועים והערות לאחת משלוש דרגות החומרה המוגדרות בדאטהסט.
איפה זה נופל
הנתונים מוגבלים גיאוגרפית לאזור משולש המחקר בצפון קרוליינה, באנגלית בלבד, ואינם משקפים דפוסי פשיעה ישראליים. תהליך הסינון מחק שורות עם ערכים חסרים, צעד שעלול ליצור הטיה מובנית אם עבירות מסוימות מתועדות פחות טוב מאחרות. עיריית ראלי שומרת לעצמה את הזכות לשנות, להפסיק את הזנת המידע או לדרוש את הפסקת השימוש בו בכל רגע. נתוני משטרה מתעדים רק מה שדווח ונאכף, כך שהם מושפעים מפרקטיקות שיטור מקומיות ואינם מדד מוחלט לפשיעה בפועל.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה במוצר מסחרי?
עדיף שלא. אף שהערים מציעות נתונים פתוחים, קארי דורשת רישיון CC BY-SA וצ'אפל היל דורשת ODbL. שני הרישיונות האלה כוללים סעיפי שיתוף זהה שיכולים לחייב אתכם לשחרר נגזרות של הנתונים או של המודל, ובמאגר עצמו הרישיון הכולל רשום כלא ידוע.
האם המאגר כולל טקסט בעברית או רלוונטי לישראל?
לא. הנתונים כולם באנגלית ומבוססים על חוקי הענישה והקודים המשטרתיים של צפון קרוליינה. הוא שימושי לפיתוח אלגוריתמים כלליים לניתוח מרחבי, אבל אינו מייצג דפוסי פשיעה או מונחים שרלוונטיים למשטרת ישראל.
איך נאסף המידע ומה עשו איתו?
היוצר אסף קובצי נתונים מארבעה פורטלים עירוניים ממשלתיים במטרופולין RTP. הוא איחד אותם לסכמה של עשר עמודות עיקריות, ניקה רשומות חלקיות ותיקנן את סיווגי העבירות לרמות חומרה אחידות.
מה הגודל של המאגר והאם צריך שרת חזק לעיבוד שלו?
מדובר במאות אלפי רשומות בפורמט טבלאי מכווץ בקובצי CSV ו־ZIP. נפח כזה נכנס בקלות לזיכרון של מחשב אישי סטנדרטי עם פנדס, ואין שום צורך בתשתית מבוזרת כדי לנתח אותו.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות הסקריפט NC_Crime.py שנמצא במאגר, או מורידים ישירות את קובצי ה־CSV המכווצים כמו Raleigh.csv.zip ו־Chapel_Hill.csv.zip. אין צורך באישור גישה או בטוקן מיוחד. שדות המפתח לעבודה הם קווי הרוחב והאורך למיפוי גיאוגרפי, חותמת הזמן occurance_time, ועמודות הסיווג crime_major_category ו־crime_severity. המאגר מכיל גם מחברות יופיטר של עיבוד הנתונים וניתוח מקדים שמאפשרות לראות את שלבי הניקוי.
from datasets import load_dataset
ds = load_dataset("zwn22/NC_Crime")הרישיון
הרישיון הכללי של המאגר המאוחד מוגדר unknown, מה שיוצר בעיה משפטית. המקורות נשענים על רישיונות סותרים: קארי דורשת CC BY-SA 4.0 שמחייב שיתוף זהה, צ'אפל היל דורשת ODbL 1.0 עם דרישת הדדיות למסדי נתונים, לדורהאם אין רישיון רשמי וראלי פוטרת את עצמה מאחריות. אימון מודל מסחרי על שעטנז הרישיונות הזה חושף אתכם לדרישות שיתוף קוד ונתונים, ולא הייתי מכניס אותו למוצר מסחרי בלי בדיקה משפטית.