olmoearth_pretrain_dataset
קוד פתוחallenaicc-by-4.02025-10-17
מאגר נתוני חישה מרחוק שמקבץ תצלומי לוויין ומדדים גיאוגרפיים מגוונים. הוא נבנה במיוחד לאימון מודלי תשתית שצריכים להבין את כדור הארץ ממספר מקורות במקביל.
- 1,328הורדות בחודש
- 19לייקים
מה זה
המאגר כולל מידע שנאסף ממגוון סוכנויות חלל ומחקרי אקלים, ומיועד לאימון מודל התשתית OlmoEarth. בפנים תמצאו תצלומי לוויין אופטיים של Sentinel-2 ו־Landsat 8 ו־9, נתוני מכ"ם של Sentinel-1 בעיבוד Planetary Computer, ונתוני גובה טופוגרפיים ממשימת SRTM.
מעבר לצילומים הגולמיים, נכללים נתוני אקלים חודשיים מ־ERA5, מיפוי יבולים של משרד החקלאות האמריקאי, מפות גידולים וכיסוי קרקע של סוכנות החלל האירופית מ־2021, מפת גובה חופת עצים של WRI ומטא, ומידע וקטורי מ־OpenStreetMap. הכרטיס לא מפרט תהליכי סינון ידניים או כללי חיתוך, אך החלוקה הפנימית בנויה לפי מקורות המידע הללו.
מתאים ל
- אימון מודלי חישה מרחוק
בניית מודלי תשתית שמנתחים תמונות לוויין ומזהים תבניות גיאוגרפיות.
- מעקב שימושי קרקע וצמחייה
חיזוי סוגי גידולים, שטחי יערות ושינויי כיסוי קרקע על בסיס מפות קיימות.
- ניתוח השפעות אקלימיות
שילוב נתוני מזג אוויר חודשיים של ERA5 יחד עם צילומי שטח להערכת שינויים סביבתיים.
איפה זה נופל
זהו אוסף של נתוני חישה מרחוק בלבד, ללא טקסט או שפה כלשהי, כך שעברית כלל אינה רלוונטית כאן. הכרטיס לא מציין חלוקה גיאוגרפית מדויקת, נפח כולל בדיסק או תקופות זמן מלאות מלבד שכבות מסוימות משנת 2021. בנוסף, לא מפורטים תהליכי ניקוי עננים או תיקונים אטמוספריים, ונדרש לפנות לתיעוד החיצוני בגיטהאב כדי להבין את מבנה המדגם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
המאגר פורסם תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, הוא מכיל נתונים ממקורות שונים, כולל OpenStreetMap שמופץ תחת ODbL, ולכן צריך לוודא שתנאי השילוב מתאימים לאופי המוצר שלכם.
האם יש במאגר נתונים בעברית?
לא. המאגר מכיל רק נתוני חישה מרחוק, צילומי לוויין, מפות גובה ומדדי אקלים, ללא נתונים טקסטואליים.
איך הנתונים מאורגנים להורדה?
המאגר כולל 272 קבצים המאורגנים לפי מקורות המידע, באמצעות קובצי CSV לצד ארכיוני tar מחולקים. כדי להשתמש בהם תצטרכו לפרוק את הארכיונים ולחבר אותם לקובצי האינדקס.
איך טוענים
הקבצים מסודרים בארכיוני tar לצד קובצי csv תואמים, לפי סוגי המקורות, למשל נתוני Landsat או מדדי ERA5. המאגר פתוח להורדה ישירה ללא צורך באישור גישה מיוחד, וכולל 272 קבצים. כדי לעבוד איתו צריך לפרוס את קובצי ה־tar ולמפות את המידע מול ה־csv, תוך היערכות מתאימה לתשתיות אחסון של נתוני לוויין כבדים.
from datasets import load_dataset
ds = load_dataset("allenai/olmoearth_pretrain_dataset")הרישיון
המאגר עצמו מופץ תחת רישיון CC BY 4.0 שמתיר שימוש מסחרי ומחקר, בכפוף למתן קרדיט מתאים. יחד עם זאת, המאגר מאחד מקורות שונים עם תנאים משלהם, כולל OpenStreetMap תחת רישיון ODbL, ולכן חשוב לבדוק את תאימות הרישיונות המשולבים עבור המודל שאתם מאמנים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס