CropNet

מה זה

המאגר מאגד שלושה מקורות מידע שונים שסונכרנו לפי זמן ומיקום על פני שש שנים, בין 2017 ל־2022, ומכסה 2,291 מחוזות בארצות הברית. המקור הראשון כולל צילומי לוויין ממשימת Sentinel-2 בגודל 224 על 224 פיקסלים, ברזולוציה מרחבית של 9 על 9 קילומטרים ותדירות דגימה של 14 יום, המחולקים לתמונות חקלאיות רגילות ולמדדי צמחייה. המקור השני מבוסס על מודל מזג האוויר WRF-HRRR, ומספק תשעה מדדים מטאורולוגיים ברזולוציה יומית לבחינת עונת הגידול וברזולוציה חודשית לבחינת מגמות אקלים ארוכות טווח.

השכבה השלישית והמסכמת מגיעה מנתוני משרד החקלאות האמריקאי, וכוללת דיווחי יבול וייצור שנתיים ברמת המחוז עבור ארבעה גידולים בלבד: תירס, כותנה, פולי סויה וחיטת חורף. החוקרים הצליבו את כל הנתונים לפי קודי זיהוי מחוזיים פדרליים, כך שכל דגימה מחברת תמונת מצב חזותית, היסטוריית מזג אוויר ותוצאת יבול בפועל.

מתאים ל

• חיזוי יבול תירס וחיטה

  אימון רשתות נוירונים להערכת טונות תוצרת למחוז בהתבסס על צילומי לוויין ומדדי צמחייה.

• ניתוח השפעות מזג אוויר

  מדידת הקשר בין טמפרטורה ומשקעים יומיים לבין פגיעה בתפוקת פולי סויה וכותנה.

• בניית מודלים מולטי מודאליים

  שילוב נתוני תמונה מרחביים עם סדרות זמן מטאורולוגיות ברשתות מסוג טרנספורמר.

איפה זה נופל

המידע מוגבל גיאוגרפית לארצות הברית בלבד, כך שהוא לא יעזור ישירות למי שמפתח פתרונות לחקלאות מקומית בישראל בלי לבצע התאמות נרחבות או איסוף נתונים מקביל. יש כאן רק ארבעה סוגי גידולים, כך שגידולי מטעים, הדרים או ירקות אינם מכוסים כלל. בנוסף, חלון הזמן שנאסף מסתיים בשנת 2022, והמפרסמים מציינים שנתוני משרד החקלאות לשנת 2023 ומעלה לא היו זמינים באופן מלא בזמן הפרסום, מה שמגביל בדיקות על עונות אחרונות.

איך טוענים

הנתונים מחולקים לאלפי קבצי HDF5, כאשר במאגר שמורים 5,487 קבצים. נפח המאגר מגיע למספר טרה בייטים, כך שהורדה ישירה שלו דורשת נפח אחסון מקומי משמעותי. הגישה לקבצים אינה דורשת אישור מיוחד ברמת החשבון, אך כדי לעבוד איתם בפועל היוצרים שחררו ספריית פייתון ייעודית בשם cropnet שזמינה להתקנה דרך pip. הספרייה כוללת מודולים להורדה ממוקדת לפי מחוזות ושנים, חילוץ מקומי, ומחלקת טעינה שמייצרת מבני נתונים ישירות לאימון מודלים של למידה עמוקה בפייטרוץ'.

from datasets import load_dataset

ds = load_dataset("CropNet/CropNet")

הרישיון

במטא דאטה של המאגר מצוין רישיון cc-by-4.0, אך בטקסט עצמו היוצרים מציינים במפורש רישיון CC BY-NC 4.0 המגביל את השימוש למחקר בלבד ואוסר שימוש מסחרי, הפצה מחדש או מסחור של מודלים שאומנו עליו. אסור להשתמש בזה למוצר מסחרי כלשהו.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗