s2-naip
קוד פתוחallenaiapache-2.02024-03-06
המאגר מרכז צילומי אוויר ולוויין מיושרים גיאוגרפית מארבעה מקורות שונים מעל כל ארצות הברית היבשתית. הוא נבנה עבור משימות שמשלבות מקורות שונים, כמו הגדלת רזולוציה או אימון מודלים מרובי ערוצים.
- 52,387הורדות בחודש
- 25לייקים
מה זה
כל רשומה במאגר היא אריח שמכסה שטח קבוע של 512 על 512 פיקסלים ברזולוציה של 1.25 מטר לפיקסל. באותו מיקום בדיוק מקבלים צילום אוויר מסוג NAIP ברזולוציה גבוהה יחד עם צילומי לוויין מסוג Sentinel-2, Sentinel-1 ו־Landsat-8/9 שנלקחו באותם חודשים או באותה שנה. בנוסף מצורפים נתוני שכבות של OpenStreetMap כקובץ GeoJSON שמכיל מבנים וכבישים, לצד נתוני כיסוי קרקע מ־WorldCover ברזולוציה של 10 מטר.
הנתונים מחולקים לתיקיות לפי סוג החיישן והקוד הגיאוגרפי של האריח. צילומי הלוויין מגיעים כקבצי GeoTIFF שבהם התמונות מאותה תקופה משורשרות זו אחר זו בציר הערוצים, בעוד תצלומי האוויר שמורים כקבצי PNG שבהם ערוץ האינפרא אדום יושב בתוך ערוץ השקיפות. ישנה גם תיקיית צילומים ישנים יותר שמכסה את השנים 2015 עד 2018.
מתאים ל
- הגדלת רזולוציה בלוויין
אימון מודלים להפקת תמונות חדות מסגנון NAIP מתוך צילומי Sentinel-2 ברזולוציה נמוכה.
- סגמנטציה של מבנים וכבישים
זיהוי אוטומטי של תשתיות באמצעות הצלבת צילומי הלוויין עם שכבות הווקטור של OpenStreetMap.
- אימון מקדים של מודלי בסיס
בניית מודלי ייצוג מרובי ערוצים מסוג Masked Autoencoder על נתוני מכ"ם ואור נראה יחד.
איפה זה נופל
הנתונים מכסים אך ורק את ארצות הברית היבשתית. מי שבונה מודל לזיהוי מבנים או סוגי קרקע בישראל, באירופה או באזורים מדבריים יקבל תוצאות שמוטות לחלוטין לדפוסי בנייה וצמחייה אמריקאיים. בנוסף, נתוני הלוויין הם בפורמט L1C של Sentinel-2 ללא תיקון אטמוספרי מלא של פני השטח, וצילומי ה־NAIP מתפרסים על השנים 2019 עד 2021 בלבד ולא מתעדכנים בזמן אמת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון apache-2.0 מתיר שימוש מסחרי מלא ללא תשלום תמלוגים. מותר לאמן מודלים ולמכור גישה אליהם, כל עוד מצרפים את תנאי הרישיון המקורי בתוכנה שמשתמשת בקבצים עצמם.
האם המאגר רלוונטי לפרויקטים בישראל?
מבחינה גיאוגרפית אין בו נתונים על ישראל. כל התמונות צולמו מעל ארצות הברית היבשתית בלבד, כך שהוא מתאים בעיקר לאימון כללי של ארכיטקטורות ולא להסקה מקומית ישירה.
איך נאספו וסוננו צילומי הלוויין?
צילומי Sentinel ו־Landsat נבחרו כך שזמן הצילום שלהם קרוב בטווח של כמה חודשים למועד צילום האוויר באותו תא שטח. נתוני המכ"ם עברו כיול רדיומטרי ותיקון טופוגרפי ישירות דרך Google Earth Engine.
איך מורידים רק אזור מסוים בלי למשוך הכל?
הקבצים מחולקים לפי רשת ה־UTM של כל אזור. מחשבים את קוד הרשת של הנקודה המבוקשת בקוד פייתון, ומורידים רק את קובץ ה־tar הספציפי שמרכז את האריחים של אותה משבצת.
איך טוענים
אין צורך בבקשת גישה מיוחדת, אבל המאגר כולל 99,929 קבצים שמאורגנים בארכיוני tar לפי אזורים ברשת UTM. כדי להגיע לנקודה מסוימת צריך להמיר קווי אורך ורוחב לקואורדינטות פיקסל בעזרת ספריות כמו rasterio ו־utm, לחשב את מזהה האריח ולהוריד רק את ארכיון ה־tar הרלוונטי. מי שמוריד תמונות NAIP צריך לזכור שערוץ ה־IR נשמר כאלפא, ולכן תוכנות צפייה רגילות מציגות אותו מעוות בלי עיבוד מקדים.
from datasets import load_dataset
ds = load_dataset("allenai/s2-naip")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי של הקבצים ושילוב שלהם במוצרים סגורים, בלי חובה לשחרר את הקוד או את המודל המאומן תחת אותו רישיון. החובה היחידה היא לשמור על הודעת זכויות היוצרים ועל נוסח הרישיון המקורי בקבצים שמפיצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים