core-five
קוד פתוחgajeshladharcc-by-nc-3.02025-05-06
מאגר נתונים לווייניים שמאחד חמישה חיישנים שונים לאותה נקודה ובאותו יום. הוא מיועד למי שבונה מודלי תשתית גיאו-מרחביים וצריך התאמה מוחלטת בזמן ובמרחב בלי לעשות את היישור בעצמו.
- 748הורדות בחודש
- 39לייקים
מה זה
המאגר מאגד חמישה מקורות תצפית כדור הארץ בתוך קובצי NetCDF אחידים: צילום אופטי מלווייני Sentinel-2 ברזולוציה של עשרה מטרים, מכ"ם מפתח סינתטי מ־Sentinel-1, מדדי קרקע וסביבה יומיים מ־MODIS, צילומי שטח מ־Landsat 8 ו־9, וצילומי RGB ברזולוציה גבוהה של 20 עד 30 ס"מ ממקורות מרובים.
הנתונים מאורגנים לפי מזהי אריחים של רשת S2Sphere. כל קובץ nc מהווה תת-אריח של קילומטר על קילומטר בתוך אריח אב של עשרה על עשרה קילומטרים. הרשומות שומרות על רצף זמני של חודשיים עד ארבעה חודשים לכל קובייה, כשהשכבות חולקות רשת גאוגרפית והיטל זהים כדי למנוע צורך ברישום מחדש.
מתאים ל
- אימון מודלי תשתית רב-ערוציים
למידה מבוססת מיסוך או ניגודיות כמו MAE ו־DINOv2, שמשלבת בו זמנית תצפית אופטית עם מכ"ם לווייני.
- הסרת עננים ושיפור רזולוציה
שחזור מקטעים אופטיים מוסתרים בעזרת אותות מכ"ם של Sentinel-1, או אימון רשתות Super Resolution מול שכבת ה־RGB.
- ניתוח שינויי קרקע בזמן
מעקב אחר עונות גידול חקלאיות וזיהוי תמורות בכיסוי הקרקע על פני חלונות זמן של חודשיים עד ארבעה חודשים.
איפה זה נופל
הכרטיס לא מפרט אילו אזורים גאוגרפיים בעולם מכוסים וכמה מהם מעל ישראל או המזרח התיכון, כך שחובה לבדוק את קובץ המטא-דאטה לפני אימון ייעודי לאזור מסוים. צילומי הרזולוציה הגבוהה מגיעים ממקורות מרובים שלא נקובים בשמם, מה שמקשה על מעקב אחר עקביות חיישנים. המשימות המדווחות כוללות טקסט ותרגום, אך בפועל אין עדיין כיתובים טקסטואליים בתוך הקבצים, והיוצר מציין הוספת טקסט רק כתוכנית עתידית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר בחברה?
לא. הרישיון הוא CC BY-NC 3.0 ואוסר במפורש שימוש מסחרי מכל סוג ללא אישור ישיר מהיוצר. אם המטרה היא להוציא פיצ'ר למערכת עסקית או לאמן משקולות למוצר מסחרי, המאגר לא מתאים.
האם יש במאגר נתונים על שטח ישראל?
הכרטיס לא מציין פריסה גאוגרפית מדויקת או רשימת מדינות. כדי לדעת אם שטח ספציפי כלול, תצטרכו לפתוח את metadata.parquet ולבדוק את מזהי ה־S2Sphere מול הקואורדינטות המקומיות.
איך הנתונים מאורגנים בכל קובץ?
כל דגימה היא קובץ NetCDF שמכיל חמש שכבות נתונים שונות, המתעדות את אותה נקודה בקרקע באותו יום. ארבע שכבות לווייניות מחזיקות רצף של חודשיים עד ארבעה חודשים, ושכבת ה־RGB החדה מחזיקה פריים ברזולוציית תת-מטר.
האם יש במאגר תיאורים טקסטואליים לצילומים?
לא כרגע. למרות שבעמוד המאגר מופיעות משימות כמו סיכום ותרגום, תיאורי טקסט לצילומי הרזולוציה הגבוהה מוגדרים בכרטיס כתוכנית עבודה עתידית בלבד.
איך טוענים
הגישה למאגר פתוחה לחלוטין ואין צורך באישור ידני. במאגר שמורים 94,617 קבצים, והטעינה נעשית בפייתון בעזרת ספריית xarray ישירות מכתובת ה־URL של הקובץ או בהורדה מקומית. הפורמט בנוי כמבנה DataTree היררכי, כך שקריאת קובץ בודד פותחת גישה ישירה לתתי-הקבוצות s1, s2, modis, landsat ו־highres. גודל הקבצים המלא דורש שטח אחסון משמעותי, ויש קובץ metadata.parquet שמסייע במיפוי האריחים לפני שמורידים נפחים כבדים.
from datasets import load_dataset
ds = load_dataset("gajeshladhar/core-five")הרישיון
הרישיון הוא CC BY-NC 3.0. מותר להוריד, לחקור, לאמן מודלים ולשנות את המידע, אך ורק למטרות מחקר לא מסחריות ותוך מתן קרדיט ליוצר. אסור לשלב את הנתונים במוצר מסחרי, לאמן עליהם מודל שמיועד למכירה, או להפיק מהם רווח ישיר בלי אישור מפורש מבעל המאגר.