MMSI-Bench
קוד פתוחRunsenXucc-by-4.02025-05-27
מבחן ביצועים להערכת תפיסה מרחבית של מודלי שפה ותמונה על בסיס מספר זוויות צילום במקביל. הוא נועד למי שרוצה לבדוק אם המודל מבין מרחב תלת ממדי ולא רק מזהה אובייקטים שטוחים.
- 1,496הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל בין אלף לעשרת אלפים רשומות, וכולל שאלות ברירה מרובה ותשובות ויזואליות שדורשות חיבור מידע מכמה תמונות שונות. כל רשומה כוללת מזהה, סדרה של תמונות בינאריות, סוג השאלה, השאלה עצמה, התשובה הנכונה, ופירוט תהליך החשיבה. בעדכון מאוחר נוספו גם נתוני זמן מענה מנורמל של בני אדם ורמת קושי לכל דוגמה.
התמונות לא צולמו במיוחד לפרויקט אלא נלקחו מתוך מאגרים קיימים ומוכרים בתחום הרובוטיקה והראייה הממוחשבת: ScanNet, nuScenes, Matterport3D, Ego4D, AgiBot-World, DTU, DAVIS-2017 ו־Waymo. כרטיס הדאטהסט לא מפרט את הליך הסינון המדויק שבוצע על המאגרים האלה, אך המטרה היא להעמיד משימות שמאתגרות את ההבנה המרחבית מול ביצועי אנוש.
מתאים ל
- הערכת מודלי ראייה רב-תמונתית
בדיקת יכולת המודל לחבר זוויות שונות של אותו חלל לתפיסה מרחבית קוהרנטית.
- השוואת ביצועים מול בני אדם
מדידת המודל מול קו בסיס אנושי וזמני תגובה אמיתיים שנמדדו במאגר.
- פיתוח שרשראות חשיבה מרחביות
שימוש בשדה הנימוק thought כדי לאמן מודלים להסביר שלב אחר שלב את ההיגיון הגאומטרי.
איפה זה נופל
הנתונים מבוססים על אנגלית בלבד, כך שאין כאן בדיקה של שפות אחרות או הקשר מקומי. הפער בביצועים קיצוני: בני אדם מגיעים ל־97.2 אחוז דיוק בזמן שהמודל המוביל מגיע ל־41 אחוז בלבד, ורבים מהמודלים נמצאים סביב 25 אחוז, שזה רמת ניחוש אקראי. בנוסף, למרות שהמאגר כולל רישיון מוצהר, התמונות נלקחו ממאגרים חיצוניים כמו Waymo, Ego4D ו־Matterport3D, שלכל אחד מהם תנאי שימוש והגבלות משלו שצריך לבדוק לפני שימוש במוצר מסחרי.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
הרישיון של המאגר ב־Hugging Face הוא cc-by-4.0 שמתיר שימוש מסחרי עם מתן קרדיט. יחד עם זאת, התמונות מגיעות ממאגרים חיצוניים כמו ScanNet ו־Waymo. כדאי לבדוק את תנאי המקור של המאגרים האלה לפני שמשלבים אותם במוצר מסחרי.
האם הדאטהסט כולל תמיכה בעברית?
לא. השאלות, התשובות והנימוקים במאגר נכתבו באנגלית בלבד. אם המטרה היא להעריך מודל בעברית, תצטרכו לתרגם את השאלות בעצמכם.
איך מחלצים את התמונות מתוך הקבצים?
התמונות לא שמורות כקבצים נפרדים בתיקייה אלא כמידע בינארי בתוך קובץ הפארקט. בעמוד המאגר מופיע קוד פייתון שמדגים איך לפתוח את הרשומות בעזרת pandas ולשמור כל תמונה בדיסק כקובץ jpg רגיל.
מה ההבדל בינו לבין מבחני תמונה רגילים?
רוב מבחני הראייה בודקים תמונה בודדת וזיהוי עצמים שטוח. המאגר הזה דורש אינטגרציה של מספר תמונות במקביל כדי להבין גאומטריה, יחסים במרחב ותנועה, משימה שמודלים נוכחיים עדיין מתקשים בה מאוד לעומת בני אדם.
איך טוענים
אפשר לטעון את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב RunsenXu/MMSI-Bench, ללא צורך באישור גישה. במאגר יש קובץ MMSI_Bench.parquet וקובץ tsv. התמונות שמורות כמערך בתים בינארי בתוך עמודת images, כך שאם עובדים עם פנדס צריך לכתוב סקריפט קצר שיקרא את השדה, ישמור כל תמונה כקובץ מקומי, ויחבר אותה לשאלות. השדות הקריטיים הם images, question, answer ו־thought. אפשר גם להריץ הערכות ישירות דרך מסגרות כמו VLMEvalKit ו־LMMs-Eval שכבר תומכות בו.
from datasets import load_dataset
ds = load_dataset("RunsenXu/MMSI-Bench")הרישיון
המאגר מפורסם תחת רישיון cc-by-4.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, כל עוד נותנים ייחוס הולם ליוצרים המקוריים ומציינים אם נעשו שינויים. אין דרישה לשתף תוצרים באותו רישיון, ומודל שאומן עליו אינו מחויב להיפתח לציבור. עם זאת, התמונות נאספו ממאגרי צד שלישי, ולכן יש לוודא שהרישיונות המקוריים שלהם לא מגבילים אתכם.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס