ai4g-flood-dataset
קוד פתוחai-for-good-labmit2024-10-28
עשר שנות זיהוי שיטפונות גלובליים מלווייני מכ"ם Sentinel-1 ברזולוציה של 20 מטר. הנתונים חודרים עננים ומאפשרים למפות היסטוריית הצפות בלי תלות במזג האוויר.
- 106,885הורדות בחודש
- 15לייקים
מה זה
המאגר מכסה את התקופה שבין אוקטובר 2014 לספטמבר 2024 ומחולק גיאוגרפית לאריחים של 3 על 3 מעלות. המידע הופק מתמונות מכ"ם באמצעות מודל למידה עמוקה לזיהוי שינויים, ומשלב נתוני סביבה כמו שיפוע קרקע, כיסוי שטח, לחות אדמה וטמפרטורה כדי לסייע בסינון התראות שווא.
בכל אריח תמצאו קובץ Parquet שמכיל נקודות זיהוי גולמיות עם חותמות זמן ומדדים סביבתיים, לצד שלושה קובצי GeoTIFF. קובצי התמונה כוללים מפות הצפה מסוננות עם מרווחי ביטחון מרחביים של 80 מטר ו־240 מטר, וכן מפת חזרתיות שמציגה בכמה חודשים שונים זוהתה הצפה בכל פיקסל.
ערכי הפיקסלים בקובצי הראסטר מקודדים בצורה ייעודית. ערך 0 מייצג שטח ללא הצפה, ערך 1 מסמן אזורי החרגה עם סיכון גבוה להטיות כמו מדבריות או ערים, וערך 2 ומעלה מצביע על זיהוי הצפה או על מספר חודשי ההצפה שנרשמו.
מתאים ל
- הערכת סיכוני נדל"ן
מיפוי חזרתיות היסטורית של הצפות בעשור האחרון לפי אזור גיאוגרפי לצורך תמחור ביטוח או בדיקת קרקעות.
- אימון מודלים הידרולוגיים
שימוש בנקודות ה־Parquet המסוננות כתוויות אמת לאימון מודלים שמנבאים הצפות על בסיס שיפוע ולחות קרקע.
- תחקור אירועי קיצון
שליפת נתוני לוויין גולמיים לפי תאריך ספציפי לבחינת היקף ההצפה בזמן אמת ללא הפרעות של עננות.
איפה זה נופל
איכות הזיהוי יורדת משמעותית באזורים עירוניים צפופים ובשטחים עם צמחייה סמיכה, שבהם אות המכ"ם מתפזר ויוצר פספוסי זיהוי. סוגי קרקע מסוימים, שטחים תלולים ואזורים צחיחים נוטים לייצר התראות שווא, שמחייבות סינון קפדני לפי מדדי הלחות וכיסוי השטח.
נוסף על כך, תופעות קצה של הלוויין גורמות לעיתים לתבניות קוויות חשודות בשולי האריחים, מה שמצריך שימוש קבוע בדגל הסינון הייעודי של שגיאות הקצה. באזורים מסוימים שבהם לא זוהתה הצפה לאחר הסינון, קובצי החזרתיות עשויים להיעדר מהתיקייה.
שאלות
נפוצות
האם המאגר מכסה את ישראל?
כן, המאגר הוא גלובלי ומחולק לאריחים שמכסים את כל כדור הארץ. כדי לבדוק את ישראל יש לעגל את הקואורדינטות המקומיות לכפולות של 3 מעלות ולאתר את האריח התואם.
האם מותר להשתמש בנתונים במוצר מסחרי בתשלום?
כן, רישיון MIT מעניק הרשאה מלאה לשימוש מסחרי, שינוי ושילוב במוצרים סגורים. כל מה שנדרש זה לכלול את הצהרת זכויות היוצרים והרישיון המקורי בתוכנה.
באיזה פורמט מגיעים הנתונים?
הנתונים מחולקים לשני סוגים עיקריים בכל אזור. קובץ Parquet שמכיל טבלה של נקודות תצפית עם תאריכים ומדדים פיזיקליים, וקובצי GeoTIFF מרחביים ברזולוציה של 20 מטר שמציגים מפות הצפה וחזרתיות.
מדוע יש צורך לסנן את קובצי ה־Parquet?
נתוני ה־Parquet מכילים זיהויים ראשוניים שכוללים רעשים סביבתיים כמו אדמה קפואה, מדבריות או שיפועים חדים. המפרסמים הגדירו ספי סינון ספציפיים ללחות, טמפרטורה ושיפוע שחובה להפעיל לפני שמבצעים ניתוח של תקופות ארוכות.
איך טוענים
אין צורך בהרשמה מיוחדת או באישור גישה כדי להוריד את הקבצים. הגישה לקבצים נעשית לפי קואורדינטות. מעגלים את קווי הרוחב והאורך של אזור העניין כלפי מטה לכפולות של 3 מעלות, ומאתרים את התיקייה התואמת במאגר, שמכיל כמעט עשרת אלפים קבצים.
לניתוח אירוע בודד טוענים את קובץ ה־Parquet ומסננים לפי תאריך, אך אם מעבדים תקופות ממושכות, חובה להפעיל ספי סינון ידניים על שדות הלחות, השיפוע וכיסוי הקרקע כדי לנקות רעשים.
from datasets import load_dataset
ds = load_dataset("ai-for-good-lab/ai4g-flood-dataset")הרישיון
המאגר מופץ תחת רישיון MIT, שמאפשר שימוש חופשי לחלוטין לצרכים מחקריים ומסחריים כאחד. אתם רשאים לעבד את הנתונים, להפיץ אותם מחדש ולאמן עליהם מודלים ללא דרישה לשיתוף הקוד או המודל תחת אותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים ותנאי הרישיון המקוריים, והיוצרים מבקשים לצטט את המאמר הנלווה שפורסם ב־Nature Communications.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש