Core-DEM
קוד פתוחMajor-TOMcc-by-sa-4.02024-08-03
המאגר כולל כיסוי גובה גלובלי של מודל פני השטח של קופרניקוס ברזולוציה של שלושים מטר. הוא נועד להתאים ישירות למערכת הנתונים של Major TOM ולאימון מודלים של פני שטח.
- 2,308הורדות בחודש
- 15לייקים
מה זה
המאגר מחזיק 1,837,843 מקטעים גלובליים בגודל 356 על 356 פיקסלים, שמקורם בנתוני Copernicus DEM 30. מדובר במודל גובה פני שטח דיגיטלי חד פעמי בזמן, המכיל מעל 1.654 מיליארד פיקסלים בסך הכל.
כל שורה בנתונים כוללת שלוש עמודות: קובץ הנתונים המקורי בשם DEM, תצוגה ממוזערת של הצללת שטח דחוסה בשם thumbnail, וגרסת תמונה דחוסה של הנתונים המקוריים בשם compressed. הנתונים המקוריים עברו היטל מחדש מפורמט EPSG:4326 המקורי אל אזור ה־UTM של כל תא, ונדגמו מחדש בעזרת אינטרפולציה ביליניארית לרזולוציה של שלושים מטר.
מתאים ל
- אימון מודלי יצירת שטח
אימון מודלי דיפוזיה או מחוללים ליצירת מודלי גובה טופוגרפיים גלובליים, כפי שנעשה במודל MESA.
- היתוך נתוני גובה ולוויין
שילוב נתוני גובה עם צילומי לוויין מסדרת Sentinel לצורך חישה מרחוק ומיפוי מדויק.
- אחזור רב אופני של מידע
פיתוח מערכות חיפוש ואחזור נתונים גלובליים המצליבות בין סוגי נתונים שונים.
איפה זה נופל
יש פערים גיאוגרפיים ברורים בכיסוי. נתוני ארמניה ואזרבייג'ן חסרים לחלוטין בגלל זמינות בפלטפורמת Creodias ששימשה לבניית המאגר, וכן נחתכו תאים מתחת לקו רוחב 89 ושתי מעלות מערבית לקו שינוי התאריך. פיקסלים חסרים מעל מים ובגבולות ארמניה ואזרבייג'ן קיבלו ערך ייעודי של מינוס 32767. בנוסף, ההיטל מחדש יוצר אי התאמה של כ־2.5 אחוזים מול תאי Sentinel-2 L2A באותה מערכת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי?
כן, הרישיון cc-by-sa-4.0 מתיר שימוש מסחרי. החובה היא לתת קרדיט ליוצרים ולהפיץ כל תוצר נגזר תחת אותו רישיון שיתוף זהה.
האם יש במאגר שמות או מידע בעברית?
לא. מדובר במאגר רסטר של נתוני גובה וטופוגרפיה מפני השטח העולמיים, ללא שכבות טקסט, שמות מקומות או שפות.
איך נאספו ועובדו הנתונים במאגר?
הנתונים נלקחו ממוצר Copernicus DEM 30 דרך פלטפורמת Creodias. אריחי הגובה עברו היטל מחדש לרשת UTM ואינטרפולציה ביליניארית לרזולוציה של שלושים מטר.
מה ההבדל בין מאגר זה למוצרי Sentinel באותה מערכת?
מוצרי הלוויין שמרו על ההיטל המקורי שלהם, בעוד נתוני הגובה כאן עברו היטל מכוון לאזורי ה־UTM. התהליך הזה יצר חוסר התאמה גיאוגרפי של 2.5 אחוזים מול תאי Sentinel-2 המקבילים.
איך טוענים
הנתונים מחולקים ל־3,680 קבצי parquet בתוך תיקיית images, כשכל קובץ מכיל כ־500 שורות. הגישה פתוחה ואינה דורשת אישור מיוחד. כדי לקרוא את קובצי ה־TIFF השמורים בעמודת DEM, פותחים שורות ספציפיות ישירות מול HuggingFace באמצעות pyarrow ו־rasterio דרך הזיכרון, או טוענים את עמודת thumbnail כזרם בתים ישירות אל ספריית תמונות כמו PIL.
from datasets import load_dataset
ds = load_dataset("Major-TOM/Core-DEM")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. הרישיון מתיר שימוש מסחרי ומחקר, אך מחייב מתן קרדיט מתאים. דרישת השיתוף הזהה מחייבת שכל יצירה נגזרת או מאגר שמשתמש בנתונים האלה יופצו תחת אותו רישיון בדיוק. אם אתם מאמנים מודל שמפיץ מחדש נתונים או משקלים שנגזרו ישירות מהמאגר, עליכם לוודא שהרישיון של המודל עומד בתנאי השיתוף הזהה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון