ShapeR-Evaluation

מה זה

הנתונים מגיעים מלכידות שבוצעו במשקפי Aria בשבע סצנות עמוסות מהעולם האמיתי, ללא תנאי סטודיו מבוקרים. בסך הכל נדגמו 178 אובייקטים מגוונים, החל מרהיטים גדולים כמו כורסאות ומטהרי אוויר, ועד לחפצים קטנים כמו שלטים, בננות, כלי עבודה ומצנמים.

כל רשומה היא אובייקט בודד שנשמר כקובץ ומכיל תמונות מכמה זוויות, פרמטרי מצלמה מכוילים, ענני נקודות של SLAM, ותיאורי טקסט שנוצרו במכונה. מודל התלת ממד המלא שמשמש כבסיס להשוואה נוצר באמצעות מודלי image-to-3d פנימיים בתנאים אידיאליים, ועבר עידון ויישור ידניים כדי להבטיח עקביות גיאומטרית.

מתאים ל

• הערכת שחזור תלת ממד

  בדיקת איכות של מודלי image-to-3d על גבי חפצים בעולם האמיתי עם הסתרות וזוויות צילום מורכבות.

• בחינת אלגוריתמי SLAM

  השוואת ענני נקודות ומנחי מצלמה מול מודלים תלת ממדיים שלמים בסביבות פנים עמוסות.

• מחקר על נתוני משקפיים

  פיתוח שיטות לעיבוד נתונים ויזואליים שמגיעים ישירות מחיישנים לבישים בתנועה חופשית.

איפה זה נופל

זהו מאגר קטן מאוד שכולל 178 חפצים בלבד משבע סצנות, כך שהוא לא מתאים לאימון אלא רק להערכת ביצועים. תיאורי הטקסט נוצרו במכונה ולא על ידי אדם, מה שעלול לכלול אי דיוקים. בנוסף, מודל הייחוס לא נסרק ישירות מהמציאות אלא נוצר ממודל ממוחשב שרק עבר תיקון ידני, וכל הנתונים מגיעים מחומרת צילום ספציפית של משקפי Aria.

איך טוענים

אין צורך בבקשת גישה מיוחדת, הקבצים פתוחים להורדה ישירה ממאגר Hugging Face. החומר מחולק ל־183 קבצים, רובם בפורמט pickle המכילים את כל המידע על האובייקט, כולל ענני נקודות, רשתות תלת ממד ותמונות.

כדי לעבוד איתו צריך לשבט את מאגר הגיטהאב של ShapeR ולהתקין את התלויות לפי ההנחיות. מריצים את הסקריפט infer_shape.py ומעבירים אליו ישירות את קובץ ה־pkl הנבחר, או משתמשים במחברת explore_data.ipynb שמציגה את מבנה המפתחות והממדים.

from datasets import load_dataset

ds = load_dataset("facebook/ShapeR-Evaluation")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה, מותר להשתמש בנתונים למחקר ולמטרות לא מסחריות בלבד, תוך מתן קרדיט ליוצרים. אסור לשלב את הקבצים או מודלים שהסתמכו עליהם ישירות במוצר מסחרי או בפעילות שמניבה רווח.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗