PASTIS-HD
קוד פתוחIGNFetalab-2.02024-04-02
המאגר מחבר סדרות זמן של צילומי לוויין אופטיים ומכ״ם עם צילום ברזולוציה גבוהה מאוד עבור חלקות חקלאיות בצרפת. הוא נבנה במיוחד למשימות סגמנטציה פנופטית וסיווג גידולים.
- 9,860הורדות בחודש
- 19לייקים
מה זה
הנתונים מכסים 2,433 אזורים בשטח צרפת המטרופוליטנית, בהיקף של כ־4,000 קמ״ר ו־124,422 חלקות חקלאיות בודדות. כל אזור כולל סדרת זמן מלוויין Sentinel-2 באורך משתנה של 38 עד 61 צילומים עם 10 ערוצים ספקטרליים, ושתי סדרות זמן מלוויין מכ״ם Sentinel-1 במסלול עולה ויורד עם כ־70 צילומים לכל כיוון. עליהם מתווסף צילום בודד ברזולוציה גבוהה מלווייני SPOT 6-7 שנדגם מחדש לרזולוציה של מטר לפיקסל.
התיוגים כוללים סגמנטציה פנופטית שמפרידה בין מזהי חלקות לבין 18 סוגי גידולים חקלאיים, לצד קטגוריות רקע ושטח ריק. מקור התיוג הוא מערך הרישום החקלאי הצרפתי של IGN, נתוני Sentinel עובדו דרך פלטפורמת THEIA ממידע של תוכנית Copernicus, וצילומי SPOT הגיעו מתוכנית הנתונים הפתוחים Dinamis.
מתאים ל
- סגמנטציה של חלקות חקלאיות
זיהוי גבולות מדויקים של חלקות וסוג הגידול שבהן על בסיס שילוב של מידע אופטי ברזולוציה גבוהה וסדרות זמן.
- מיזוג מודליות בחישה מרחוק
אימון ובחינת מודלים שמחברים תמונות מכ״ם, ערוצים מולטי-ספקטרליים וצילומים חדים בזמנים שונים.
- אימון מקודדים בראייה חישובית
התאמת ארכיטקטורות כמו Masked Autoencoders לעיבוד מידע גיאוגרפי רב-זמני עבור תצפיות כדור הארץ.
איפה זה נופל
כל הנתונים נאספו משטחי צרפת בלבד, כך שההתפלגות מוגבלת לתנאי אקלים, קרקע ושיטות חקלאות אירופיות. רזולוציית הבסיס של SPOT היא 1.5 מטר אך היא נדגמה במאגר ל־1 מטר כדי להתאים לרשת הפיקסלים, מה שאינו מוסיף מידע אופטי אמיתי. בנוסף, בעוד שנתוני Sentinel הם סדרת זמן דינמית, נתוני SPOT הם צילום סטטי בודד, כך שאין כיסוי רזולוציה גבוהה לאורך עונות השנה.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון etalab-2.0 מאפשר במפורש שימוש מסחרי בנתונים. הדרישה המרכזית היא מתן ייחוס וקרדיט ליוצרי המאגר ולמקורות המידע הממשלתיים בצרפת.
איך המאגר הזה שונה מגרסאות קודמות של PASTIS?
הגרסה המקורית כללה רק סדרות זמן של Sentinel-2. גרסת PASTIS-R הוסיפה ערוצי מכ״ם של Sentinel-1, וכאן בגרסת ה־HD נוסף לכל אזור גם צילום בודד ברזולוציה גבוהה מאוד מלווייני SPOT 6-7.
האם המאגר רלוונטי לגידולים חקלאיים בישראל?
הוא יכול לשמש לאימון מקדים של מודלים או לבדיקת ארכיטקטורות מיזוג, אך כל הנתונים נאספו בצרפת. 18 סוגי הגידולים ומאפייני הקרקע משקפים חקלאות אירופית, ולכן דורשים בדיקה והתאמה לפני יישום מקומי.
למה יש יותר קובצי תמונות מאשר קובצי תיוגים?
תיקיות הלוויין מכילות טלאים שלא כולם עברו תיוג. כדי לאמן מודל בצורה נכונה חובה להשתמש בקובץ metadata.geojson כאינדקס, שמפנה אך ורק ל־2,433 האזורים המתויגים.
איך טוענים
המאגר כולל מעל עשרים אלף קבצים, כאשר סדרות Sentinel והתיוגים שמורים במערכי numpy וצילומי SPOT בפורמט TIFF. תיקיות התצפיות מכילות יותר קבצים מתיקיית התיוגים, ולכן חובה לסנן ולטעון אותם לפי קובץ metadata.geojson שמכיל בדיוק 2,433 רשומות תקפות. תיקיית DATA_S1A מכילה את תצפיות המכ״ם במסלול עולה ותיקיית DATA_S1D במסלול יורד. לטעינה נוחה ב־PyTorch קיימת מחלקת נתונים ייעודית במאגר OmniSat.
from datasets import load_dataset
ds = load_dataset("IGNF/PASTIS-HD")הרישיון
המאגר מפורסם תחת רישיון etalab-2.0, שהוא רישיון מידע פתוח של ממשלת צרפת. הוא מתיר שימוש חופשי כולל שימוש מסחרי, עיבוד, הפצה ושילוב במאגרים אחרים, בתנאי של מתן קרדיט מתאים ליוצרים ולמקורות הנתונים. אין דרישה לשתף תוצרים או מודלים מאומנים תחת אותו הרישיון.