ReVSI

מה זה

המאגר מציע שאלות ותשובות מבוססות וידאו שמתמקדות בהבנה מרחבית תלת ממדית של סצנות שלמות. המידע נשען על חמישה מאגרי סריקה קיימים: ScanNet v2, ScanNetPP v2, MultiScan, ARKitScenes ו־3RScan. סרטוני ARKitScenes עברו יישור כך שהתקרה תמיד פונה למעלה, ושאר הסרטונים עברו סטנדרטיזציה לקצבי פריימים ורזולוציות אחידים לפי מאגר המקור.

כל דגימה מכילה את מזהה הסצנה, סוג השאלה, השאלה עצמה באנגלית, אפשרויות בחירה אם זו שאלה אמריקאית, תשובת אמת, תקציב הפריימים ומזהי העצמים הרלוונטיים. בנוסף לקובצי השאלות, החוקרים צירפו קובצי מטא דאטה עשירים עם תיבות תוחמות תלת ממדיות מסובבות, פוליגונים דו ממדיים של שטח החדרים, ומדדי נראות של כל אובייקט לפי תקציב הפריימים.

החלוקה הפנימית בנויה מתתי מאגרים לפי כמות הפריימים שהמודל רואה: all-frame, 64-frame, 32-frame ו־16-frame. הדגימה היררכית, כך שכל קבוצה קטנה מוכלת במדויק בקבוצה שמעליה תוך שמירה על אותן נקודות זמן בוידאו.

מתאים ל

• הערכת תפיסה מרחבית

  בדיקת יכולת המודל להבין יחסים גיאומטריים ונפח תלת ממדי מתוך רצף תמונות וידאו.

• מבחן ביצועים תחת מגבלת זיכרון

  השוואת דיוק המודל במעבר בין 16, 32 ל־64 פריימים כדי לראות איפה איכות ההסקה נשברת.

• בנצ'מרק למודלי שפה ויזואליים

  הרצת הערכה מובנית בעזרת ספריות כמו LMMs-Eval או VLMEvalKit על משימות הבנת סצנה.

איפה זה נופל

כל הטקסט והשאלות מנוסחים באנגלית בלבד. הנתונים מתמקדים בסצנות פנים ממקורות קיימים, כך שהם מוגבלים לטווח האובייקטים והחדרים שנלכדו במקורות כמו ScanNet או 3RScan. חלק מהשאלות הן שאלות רב ברירה, מה שעלול לחשוף את ההערכה לניחושים אקראיים של מודלים. בנוסף, מודל שלא יודע לעבוד טוב עם פריימים דלילים עלול להיכשל בגלל בעיית נראות של אובייקטים שנעלמים בגרסאות ה־16 וה־32 פריימים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות ציון שם התת מאגר המבוקש והספליט test. המידע שמור בקובצי parquet מסודרים, כאשר הגישה למאגר פתוחה לחלוטין וללא צורך בהרשאה מוקדמת. סדר הגודל הכולל עומד על בין אלף לעשרת אלפים דוגמאות. השדות הקריטיים לריצה הם question, options, ground_truth, ומזהה הפריימים או הסצנה. בעבודה עם מודלי QwenVL, המפתחים מתריעים מפורשות להימנע משימוש ב־PyTorch 2.9 עקב באג ידוע ב־cuDNN שפוגע בביצועים.

from datasets import load_dataset

ds = load_dataset("3dlg-hcvc/ReVSI")

הרישיון

המאגר מופץ תחת רישיון apache-2.0, שמתיר שימוש מסחרי, מחקרי, שינוי והפצה של הקוד והנתונים ללא חובת שיתוף באותו רישיון. עם זאת, מכיוון שסרטוני הווידאו והסצנות נלקחו ממאגרי מקור חיצוניים, חובה לבדוק את תנאי הרישיון המקוריים של ScanNet, 3RScan ושאר המקורות לפני שימוש מסחרי בתוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗