ViewSpatial-Bench
קוד פתוחlidingmapache-2.02025-05-14
מעל 5,700 שאלות רב-ברירה בוחנות הבנה מרחבית של מודלי ראייה-שפה מזווית המצלמה ומנקודת מבטו של אדם בסצנה. המטרה היא לבדוק אימוץ נקודת מבט חיצונית בתוך חלל תלת-ממדי.
- 773הורדות בחודש
- 23לייקים
מה זה
המאגר כולל יותר מ־5,700 זוגות של שאלות ותשובות שנבנו על בסיס למעלה מ־1,000 סצנות תלת-ממדיות. התמונות מגיעות משני מקורות מוכרים: קבוצת הוולידציה של ScanNet וקבוצת הוולידציה של MS-COCO משנת 2017. כל רשומה כוללת שאלה, אפשרויות בחירה, תשובה נכונה, סוג המשימה ונתיב לקובץ התמונה המתאים.
המשימות מחולקות לשתי נקודות ייחוס מרכזיות. הראשונה היא מבט המצלמה, עם שאלות על כיוון יחסי וכיוון של אובייקטים. השנייה היא מבט אלוצנטרי מנקודת מבטו של אדם בסצנה, וכוללת כיוון אובייקט, כיוון יחסי וסימולציית סצנה. החלוקה הזו בודקת אם המודל מסוגל להבין איפה דברים נמצאים ביחס לאדם אחר בחדר ולא רק ביחס לעדשה.
מתאים ל
- הערכת הבנה מרחבית במודלים
בדיקת היכולת של מודלי ראייה לחשב מיקום וכיוון של עצמים מזוויות ראייה שונות.
- בדיקות לרובוטיקה וסוכנים
בחינת הבנת סביבה מנקודת מבט של משתמש אנושי לצורך שיתוף פעולה במרחב פיזי.
- אימון ייעודי לשיפור ראייה
שימוש ברשומות כבסיס לכוונון עדין הממוקד בשינוי נקודת ייחוס מרחבית.
איפה זה נופל
כל הטקסט מוגבל לאנגלית בלבד, כך שאין שום ייצוג לעברית או לשפות אחרות. התמונות לקוחות ממאגרי עבר ספציפיים לסביבות פנים ולחלוקות ולידציה קיימות, מה שמגביל את המגוון של הסביבות והאובייקטים. הכרטיס אינו מפרט תהליך סינון אנושי של השאלות או בקרת איכות נגד הזיות של כלים אוטומטיים. בנוסף, מודלים מובילים מגיעים בבנצ'מרק לדיוק כולל של סביב חמישים אחוז בלבד, מה שמלמד שהמשימות קשות מאוד או שיש אי-דיוקים בניסוח חלק מהאפשרויות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המדווח הוא apache-2.0 ומאפשר שימוש מסחרי חופשי. עליכם לשמור על הודעות זכויות היוצרים והרישיון המקורי בקבצים שלכם. כדאי לזכור שהתמונות עצמן נלקחו מ־ScanNet ו־MS-COCO, ולכן מומלץ לוודא שתנאי השימוש של אותם מאגרי מקור אינם מגבילים אתכם.
האם יש במאגר תמיכה בשפה העברית?
לא, הנתונים כוללים שאלות ותשובות באנגלית בלבד. אם המוצר שלכם פועל בעברית, תצטרכו לתרגם את השאלות והאפשרויות לפני ההרצה. תרגום כזה עלול לשנות מונחי יחס ומיקום מרחביים ולדרוש בדיקה ידנית.
איך נאספו השאלות והתמונות למאגר?
היוצרים אספו מעל 1,000 סצנות מתוך קובצי הוולידציה של ScanNet ו־MS-COCO משנת 2017. על בסיס הסצנות האלה הם יצרו מעל 5,700 שאלות סגורות שנחלקות לחמש משימות ייעודיות. התהליך בדק במכוון זוויות של מצלמה מול זוויות של אנשים שנמצאים בתוך התמונה.
במה הוא שונה ממאגרי שאלות ותשובות רגילים על תמונות?
בניגוד למאגרי תמונות רגילים שמתמקדים בזיהוי אובייקטים פשוט, כאן הדגש הוא על אימוץ נקודת מבט של מישהו אחר. המודל נדרש להבין כיוונים כמו ימין ושמאל מנקודת המבט של אדם שמופיע בתוך החדר ולא רק מעדשת המצלמה. המאפיין הזה הופך את הבדיקה לרלוונטית במיוחד לרובוטיקה ולסוכנים עצמאיים.
איך טוענים
טוענים את המאגר ישירות עם ספריית datasets של Hugging Face באמצעות השם lidingm/ViewSpatial-Bench. הנתונים עצמם מרוכזים בקובץ JSON אחד, אך התמונות מגיעות בקובצי ארכיון נפרדים שדורשים פריקה מקומית כדי שהנתיבים בעמודת התמונות יעבדו. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בעת הרצת בדיקות, השדות המרכזיים לעיבוד הם שאלת הטקסט, מערך האפשרויות, ומזהה סוג המשימה לצורך פילוח התוצאות.
from datasets import load_dataset
ds = load_dataset("lidingm/ViewSpatial-Bench")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה של הנתונים. חובה לצרף עותק של הרישיון ומתן קרדיט ליוצרים המקוריים, אך אין דרישה לפתוח את הקוד או את המודלים שתאמנו עליו תחת אותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים