TerraMind-1.0-base
קוד פתוחibm-esa-geospatialapache-2.02025-02-14
מודל תצפיות כדור הארץ שמסוגל לקבל סוגי מידע לווייני שונים ולייצר מהם ייצוגים או שכבות מידע חדשות. הוא מעניין במיוחד כי הוא מאפשר לעבוד גם כשחלק מהערוצים או החיישנים חסרים לגמרי.
- 1.4 GBמשקל הקבצים
- 15,232הורדות בחודש
- 53לייקים
מה זה
הפיתוח המשותף של יבמ, סוכנות החלל האירופית ומרכז יוליך נועד לעבד מידע גאו-מרחבי גולמי ממספר מקורות בו זמנית. הוא אומן על חצי טריליון טוקנים מתשעה מיליון דגימות רב-שכבתיות של מערך טרה-מש. הארכיטקטורה שלו מבוססת על טרנספורמר שמטפל ברמת הפיקסל וברמת הטוקן, ומשלבת טוקנייזרים שונים לתמונות ולנתוני רצף כמו קואורדינטות.
בניגוד למודלים שמקבלים רק תמונות אופטיות סטנדרטיות, כאן אפשר לערבב קלטים מסנטינל 2, סנטינל 1, מודלי גובה דיגיטליים ותמונות רגילות. המודל יכול לשמש כבסיס לחילוץ מאפיינים וסגמנטציה, או במצב יצירה של ערוץ אחד מתוך ערוץ אחר. במבחני פנגיאה הוא מציג ביצועים מובילים במשימות של סיווג שימושי קרקע, מיפוי מקווי מים והערכת צמחייה ביחס למודלי בסיס אחרים בתחום.
מתאים ל
- סגמנטציה של שימושי קרקע
זיהוי ומיפוי של שטחי חקלאות, מים ויערות מתוך שילוב של מידע אופטי ונתוני גובה.
- השלמת נתונים מחיישנים חסרים
ייצור הדמיה משוערת של סריקת רדאר על בסיס צילומי לוויין אופטיים קיימים.
- חילוץ מאפיינים לאימון מותאם
שימוש במשקלים המאומנים כבסיס למודלי למידה עמוקה ייעודיים לתצפיות כדור הארץ.
איפה זה נופל
היכולת הגנרטיבית של המודל לייצר מודליות אחת מתוך אחרת אינה שחזור פיזיקלי של המציאות. הכרטיס עצמו מדגיש שמדובר בתמונות שהמודל מדמיין ולא במדידה אמיתית מהשטח. הסתמכות על הפלטים האלה לניתוח מדויק דורשת זהירות רבה. בנוסף, המודל תלוי לחלוטין בספריית טרה-טורץ להרצה תקינה, ואינו תואם ישירות לספריות עיבוד תמונה רגילות בלי שלבי תיאום ועבודה מקדימים.
שאלות
נפוצות
האם אפשר להשתמש במודל רק עם תמונות רגילות בלי נתוני רדאר?
כן. המודל בנוי להתמודד עם קלטים גמישים ותומך בהזנת תמונות צבע רגילות, ערוצים אופטיים מסוימים בלבד, או מידע חלקי לפי מה שזמין בפרויקט שלכם.
איך מחברים אותו לקוד קיים בפייתון?
עובדים דרך ספריית טרה-טורץ. מגדירים את המודל כבסיס מתוך הרגיסטרי של הספרייה, מזינים לו טנסורים במבנה של מילון לפי שמות המודליות, ומקבלים ייצוגים מאוחדים להמשך העבודה.
איך מריצים
המשקל הכולל של הקבצים עומד על 1.4 גיגה-בייט, כך שכרטיס מסך בודד ברמת כניסה או תחנת עבודה סבירה יריצו אותו בלי בעיה. הריצה והאימון נשענים על ספריית טרה-טורץ, שמתממשקת ישירות לפייטרוץ' לייטנינג. משם מגדירים אילו מודליות רוצים להזין, כמו ערוצי רדאר או תמונות לוויין אופטיות, ואילו רוצים לקבל בפלט.
אם אתם רק צריכים סיווג פשוט על תמונות רגילות, אין היגיון להסתבך עם התקנת הספריות והסביבה הייעודית הזו. אבל כשעובדים עם מידע לווייני מורכב ממספר חיישנים שונים ורוצים לשמור על השליטה והפרטיות של המידע המקומי, הרצה עצמאית היא הדרך הנכונה.
pip install -U huggingface_hub hf download ibm-esa-geospatial/TerraMind-1.0-base
הקבצים
6 קבצים במאגר, 1.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
המודל מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד והמשקלים, ולשלב אותו במוצרים פנימיים או חיצוניים. התנאי המרכזי הוא שמירה על הודעות זכויות היוצרים וציון הרישיון המקורי בקוד או בהפצה שלכם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים