GEOBench-VLM
קוד פתוחaiallianceרישיון לא דווח2024-12-01
מעל עשרת אלפים שאלות מאומתות לתצלומי לוויין וחישה מרחוק. המאגר בודק איפה מודלי ראייה שפה גנריים נכשלים במשימות גיאו-מרחביות מורכבות.
- 3,257הורדות בחודש
- 16לייקים
מה זה
המאגר מיועד לבחינת מודלי ראייה ושפה על תצלומי חישה מרחוק ומכיל מעל עשרת אלפים הוראות שנבדקו ידנית. התוכן מחולק למספר תיקיות לפי משימות שונות: תמונות בודדות לשאלות ישירות, ניתוח שינויים לאורך זמן על פני רצפי תמונות, איתור וזיהוי אובייקטים לפי תיאור טקסטואלי, מקטוע סגמנטציה לפי תיאור, ותיאור תמונה כללי.
המבנה של כל דגימה כולל קובץ שאלות ותשובות ייעודי בפורמט ג'ייסון לצד קובצי המדיה הרלוונטיים. הרשומות מציגות שאלות רב-ברירה עם חמש אפשרויות מענה, רשימת פרומפטים מגוונת, תשובה נכונה מאומתת, ותיאור מפורט של המחלקות והמונחים המופיעים בשאלה. התמונות מתעדות תנאי צילום מגוונים, סוגי עצמים שונים וקני מידה משתנים שמאתגרים מודלים רגילים.
מתאים ל
- הערכת מודלי ראייה לתצלומי אוויר
בדיקת ביצועים של מודלים קיימים מול שאלות מורכבות על תצלומי לוויין וחישה מרחוק.
- זיהוי שינויים לאורך זמן
הערכת היכולת של מערכות ראייה להשוות בין רצפי תצלומים מתקופות שונות ולזהות הבדלים.
- איתור ומקטוע לפי תיאור שפתי
מדידת הדיוק של מודלים בזיהוי מיקום וסימון גבולות של עצמים ספציפיים לפי תיאור חופשי.
איפה זה נופל
מודלים חזקים מתקשים מאוד עם הנתונים כאן. לפי המפתחים, מודל GPT-4o השיג רק ארבעים אחוזי דיוק בשאלות הרב-ברירה, תוצאה שרק כפולה מניחוש אקראי לחלוטין. האתגרים כוללים ספירת עצמים בכמויות גדולות, זיהוי פריטים זעירים מאוד מהאוויר, והבנת יחסים מורכבים בין ישויות בתצלום. הטקסטים והפרומפטים נכתבו באנגלית בלבד ללא שפות נוספות, והשימוש בתמונות דורש צעדי הורדה ידניים והרכבה מקומית שלא מתאימים למי שמחפש טעינה בלחיצה אחת.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל כרגע. היוצרים לא ציינו שום רישיון שימוש בעמוד הנתונים, ולכן אין היתר חוקי ברור להשתמש במידע לצרכים מסחריים או לאמן עליו מודלים.
האם המאגר כולל תמיכה בעברית?
לא. כל ההוראות, השאלות, אפשרויות הבחירה ותיאורי המחלקות כתובים באנגלית בלבד. אם המערכת שלכם מיועדת לעבוד בעברית, תצטרכו לתרגם את השאלות בעצמכם.
האם כל התמונות יורדות באופן אוטומטי מהמאגר?
לא כולן. חלק מהתמונות שייכות לדאטהסט חיצוני שנקרא xBD ויש להוריד אותן ידנית מאתר ייעודי, לחלץ את הקבצים ולהריץ סקריפט עיבוד מקומי כדי לחבר אותן לשאלות.
איך טוענים
הנתונים מגיעים בארכייוני זיפ ובקובץ פרקט עבור החלקים השונים. מורידים את הקבצים ישירות מהמאגר, אך חלק מתמונות הלוויין מבוססות על דאטהסט חיצוני בשם xBD שאינו כלול בהורדה הראשונית. כדי להשלים אותן צריך להוריד את קובצי המקור מאתר xView2, לחלץ אותם מקומית ולהריץ סקריפט פייתון שמסדר ומעתיק את התמונות לתיקיות המתאימות. קובצי ה־qa.json מחזיקים את הנתיב לתמונה, מזהה השאלה, האפשרויות והפתרון הנכון.
from datasets import load_dataset
ds = load_dataset("aialliance/GEOBench-VLM")הרישיון
היוצרים לא דיווחו על רישיון שימוש בעמוד המאגר. כשאין רישיון מוגדר, מבחינה חוקית אין הרשאה מפורשת להשתמש בנתונים, לא לאימון מודלים, לא לפיתוח מוצר מסחרי ואפילו לא למחקר פנימי. לפני שנוגעים בקבצים או מריצים עליהם אימונים שעלולים לחשוף אתכם לתביעות זכויות יוצרים, חובה לפנות ליוזמי הפרויקט או לבדוק את הרישיונות של תצלומי המקור החיצוניים.