BioMassters
קוד פתוחnascetti-acc-by-4.02023-08-17
המאגר כולל סדרות זמן מלווייני מכם ואופטיקה לצד מדידות לידאר, ומיועד להערכת ביומסה ביערות. מי שבונה מודלים לחיזוי מדדי צמחייה מתצפיות חלל ימצא כאן שילוב נדיר של ערוצים תואמים.
- 3,770הורדות בחודש
- 17לייקים
מה זה
הנתונים מתמקדים ביערות פינלנד ונשענים על שילוב בין תמונות אופטיות של סנטינל 2 לבין נתוני מכם של סנטינל 1. המאגר מציע 12 חודשים רצופים של תצפית, תמונה אחת לחודש, בכל נקודה. בסך הכל נאספו 310 אלף מקטעים שונים המכילים ערוצי מכם במסלול עולה ויורד, לצד עשרה ערוצים ספקטרליים ורמת עננות.
ערכי האמת מבוססים על מיפוי לידאר מכויל באמצעות מדידות שטח ידניות, ומספקים הערכת ביומסה ברמת הפיקסל. נתוני הייחוס כוללים 13 אלף מקטעים, כאשר כל מקטע משתרע על שטח של 2,560 על 2,560 מטרים. החלוקה במאגר מפרידה בין קובצי אימון לקובצי בדיקה, לצד קובצי מטא דאטה בפורמט טבלאי שמפרטים את המאפיינים.
מתאים ל
- הערכת ביומסה ביערות
אימון מודלים להערכת מסת צמחייה מעל פני הקרקע ברמת הפיקסל באמצעות נתוני לוויין רב ערוציים.
- היתוך נתוני מכם ואופטיקה
מחקר על שילוב אותות מסנטינל 1 וסנטינל 2 יחד לצורך התגברות על עננות ופענוח כיסוי קרקע.
- ניתוח סדרות זמן של תמונות
פיתוח רשתות לומדות לעיבוד רצף חודשי של 12 תמונות לזיהוי שינויים עונתיים בצמחייה.
איפה זה נופל
ההטיה הגדולה ביותר היא גאוגרפית ואקלימית. כל המדידות נאספו ביערות פינלנד, כך שמודל שילמד עליהם לא ידע להתמודד עם צמחייה ים תיכונית, יערות גשם או תוואי שטח מדברי בלי כיול מחדש. בנוסף, מדובר בנתוני שנה בודדת ללא פירוט על שינויים עונתיים רב שנתיים, והתלות בכיול הלידאר המקומי פירושה שכל שגיאה במדידות השטח המקוריות זלגה ישירות למפות הפיקסלים שמשמשות לתיוג.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון סי סי 4.0 מתיר שימוש מסחרי מלא. צריך רק לתת ייחוס הולם למחברים לפי דרישות הרישיון.
כמה שטח אחסון צריך כדי לעבוד עם הנתונים?
הנתונים כבדים מאוד ודורשים כמעט 300 גיגה בייט להורדה בלבד. סט האימון תופס 215.9 גיגה בייט, נתוני המבחן שוקלים 73 גיגה בייט, והתגיות עוד 2.1 גיגה בייט, כך שמומלץ להכין לפחות 500 גיגה בייט פנויים כדי לפתוח את הארכיונים.
איך נאספו נתוני האמת של הביומסה?
הערכים חושבו באמצעות סריקות לידאר שכוילו מול מדידות שטח ידניות בפינלנד. התוצאה היא מפות ביומסה ברמת הפיקסל עבור מקטעים בשטח של כ־2.5 על 2.5 קילומטרים.
האם המודל יתאים לחיזוי בישראל?
סביר להניח שלא בלי אימון נוסף. כל הנתונים מגיעים מיערות בצפון אירופה, שם סוגי העצים, צפיפות החורש ומזג האוויר שונים לחלוטין מהצמחייה ומשטרי הגשם בארץ.
איך טוענים
אי אפשר לטעון את זה כלאחר יד בקוד קצר, מדובר בהורדה מסיבית של כמעט 300 גיגה בייט. תיקיית האימון לבדה שוקלת 215.9 גיגה בייט עם 189,078 קבצים, סט המבחן דורש עוד 73 גיגה בייט, וקובצי תגיות הביומסה תופסים 2.1 גיגה בייט נוספים. הקבצים ארוזים בארכיוני טאר וחלקים מפוצלים שצריך לאחד ולפתוח מקומית. הגישה חופשית ואין צורך באישור מיוחד, אך כדאי לעבוד קודם עם קובצי המטא דאטה בפורמט סי אס וי כדי לסנן את המקטעים הרצויים לפני שפותחים הכל לדיסק.
from datasets import load_dataset
ds = load_dataset("nascetti-a/BioMassters")הרישיון
הרישיון הוא סי סי 4.0 המאפשר שימוש חופשי, כולל שימוש מסחרי ואימון מודלים. התנאי המרכזי הוא מתן קרדיט ברור ליוצרים וקישור לרישיון המקורי. הרישיון אינו דורש שיתוף תחת אותו רישיון, כך שאין חובה לפתוח את הקוד או את המודל שתפתחו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס