NYC_Motor_Vehicle_Collisions_and_Weather_Dataset
קוד פתוחxx103unknown2024-02-14
המאגר מחבר דיווחי משטרה על תאונות דרכים בניו יורק עם נתוני מזג אוויר יומיים לאורך עשור. הוא חוסך את עבודת ההצלבה הידנית למי שחוקר קשר בין תנאי אקלים לנפגעים בכביש.
- 73הורדות בחודש
- 49לייקים
מה זה
הנתונים מורכבים ממיזוג של שלושה מקורות: דיווחי תאונות של משטרת ניו יורק הכוללים מעל שני מיליון רשומות, מאגר מזג אוויר יומי של Visual Crossing בין השנים 2013 ל־2023, וטבלת מיקודים עירונית. כל שורה מייצגת תאונה בודדת באחד מחמשת רובעי העיר, ומוצמדים אליה נתוני מזג האוויר שנמדדו באותו יום.
המבנה כולל שדות מיקום כמו קואורדינטות, רובע וסוג רחוב, פרטי האירוע כמו טווח שעות, סוגי רכבים, גורמים תורמים, נפגעים והרוגים, לצד נתוני אקלים שכוללים טמפרטורה, משקעים ותיאור מילולי. המאגר נשען על קובצי עיבוד ייעודיים שנמצאים במאגר לצורך חיבור המקורות.
מתאים ל
- ניתוח מוקדי תאונות
מיפוי מרחבי של נקודות תורפה בכבישים לפי קואורדינטות ורובעים לבחינת עומסים ותשתיות.
- בדיקת השפעת מזג אוויר
מדידת הקשר בין טמפרטורה או משקעים לבין כמות הנפגעים וההרוגים בתאונות יומיות.
- חיזוי עונתי של תאונות
בניית מודלים מבוססי סדרות עתיות להערכת עליות וירידות בנפח התאונות לפי חודשים ותנאי אקלים.
איפה זה נופל
מזג האוויר במאגר מדווח ברמה יומית ולא לפי שעת התאונה, מה שמייצר חוסר דיוק בניתוח של אירועי גשם או שלג נקודתיים. שדות גיאוגרפיים רבים כמו מיקודים, שמות רחובות וקואורדינטות חסרים בחלק מהרשומות, וגורמי התאונה מסומנים לעיתים קרובות כלא ידועים. בנוסף, כל הנתונים הם באנגלית ומשקפים בלעדית את התשתיות ודפוסי הנהיגה של ניו יורק, כך שאינם מתאימים להסקה על כבישים בישראל ללא התאמות כבדות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון בדף המאגר מוגדר כלא ידוע, ולכן אין היתר מפורש לפעילות מסחרית. שימוש כזה דורש בדיקה נפרדת של תנאי הרישיון של עיריית ניו יורק ושל ספק נתוני מזג האוויר Visual Crossing. כל עוד אין רישיון מוצהר, שימוש מסחרי חושף אתכם לסיכון משפטי.
האם הנתונים כוללים טקסט בעברית?
לא, כל הטקסט במאגר מופיע באנגלית בלבד. הנתונים מתעדים רחובות, רובעים ודוחות משטרה מקומיים של העיר ניו יורק. אין במאגר שום תוכן או תמיכה מובנית בעברית.
כמה מקום המאגר תופס במחשב?
חומרי הגלם שמרכיבים את המאגר מגיעים לנפח של כ־2.3 ג'יגה בייט עבור קובץ התאונות, ועוד כמה מגה בייטים בודדים עבור מזג האוויר והרובעים. בסך הכל מדובר ביותר משני מיליון רשומות. מומלץ להחזיק זיכרון עבודה פנוי מתאים לטעינת טבלאות בגודל כזה.
איך נוצר המאגר בפועל?
היוצר לקח שלושה מקורות נתונים ציבוריים וחיבר אותם לקובץ אחיד באמצעות סקריפטים. הדיווחים מגיעים ממשטרת ניו יורק, המיקודים מעיריית ניו יורק, ונתוני מזג האוויר ההיסטוריים נלקחו מהשירות של Visual Crossing לשנים 2013 עד 2023.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות המזהה של המאגר, או מריצים ישירות את סקריפט הפייתון data_processing.py שנמצא בתיקייה. הקבצים כוללים סקריפטים ודפי הסבר, כאשר חומרי הגלם המקוריים שוקלים מעל שני ג'יגה בייט ומכילים מיליוני רשומות. אין צורך באישור גישה מיוחד כדי להוריד. השדות החשובים לסינון ראשוני הם תאריך, טווח השעות, הקואורדינטות וסוגי הרכבים.
from datasets import load_dataset
ds = load_dataset("xx103/NYC_Motor_Vehicle_Collisions_and_Weather_Dataset")הרישיון
הרישיון מוגדר במאגר כלא ידוע. המשמעות היא שאין הרשאה משפטית ברורה לשימוש מסחרי, להפצה מחדש או לאימון מודלים שיוטמעו במוצר סגור. המקורות המקוריים מגיעים ממאגר המידע הפתוח של ניו יורק ומחברת מזג אוויר חיצונית, ולכן חובה לבדוק את תנאי השימוש של ספקי המידע המקוריים לפני כל שימוש שאינו מחקר אישי.