mdm_depth
קוד פתוחrobbyantapache-2.02026-03-21
מאגר ענק של תמונות צבע לצד מפות עומק גולמיות ומאומתות מרובוטים ומצלמות שונות. הוא מיועד למי שמאמן מודלים להערכת עומק בסביבות פנימיות ומחפש נתונים שכוללים רעש חיישן אמיתי לצד אמת קרקע מדויקת.
- 20,042הורדות בחודש
- 36לייקים
מה זה
המאגר כולל 3,019,200 דגימות שמחולקות לארבעה חלקים עיקריים. החלק הגדול ביותר, RobbyReal, מכיל 1,400,000 דגימות מתוך סצנות פנים שצולמו במקביל בחמישה דגמים של מצלמות עומק, כולל Orbbec ודגמי Intel RealSense שונים. החלק השני, RobbyVla, מכיל 580,960 דגימות שנאספו בזמן משימות תפעול של זרועות רובוטיות מסוג Franka ו־UR7e עם שתי מצלמות צד.
יתר הנתונים מגיעים מסביבה מדומה ומפוצלים לאימון עם 999,264 דגימות ב־RobbySim, ולוולידציה עם 38,976 דגימות ב־RobbySimVal. כל דגימה בכל החלקים מורכבת מתמונת צבע, נתוני עומק גולמיים ישירות מהחיישן, מפת עומק מעובדת שמשמשת כאמת קרקע, וקובץ טקסט עם נתוני הכיול הפנימיים של המצלמה. עומק התמונות נמדד במילימטרים ונשמר בפורמט PNG של 16 ביט.
מתאים ל
- אימון הערכת עומק
לימוד מודלים לחיזוי עומק מתוך תמונת RGB יחידה או תיקון מפות חיישן רועשות על בסיס נתוני האמת.
- ניווט ותפעול רובוטי
פיתוח אלגוריתמים לזרועות רובוטיות שמסתמכים על מצלמות עומק בזמן מניפולציה של חפצים בסביבת פנים.
- בדיקת חוסן חיישנים
השוואת ביצועים ורעשי קליטה בין חמישה דגמי מצלמות שונים שצילמו בדיוק את אותה הסצנה.
איפה זה נופל
הנתונים מתמקדים אך ורק בסביבות פנים וברובוטיקה, בלי סצנות חוץ, מזג אוויר משתנה או תאורת שמש ישירה שיכולה לשבש חיישני אינפרא אדום. בנוסף, קיים פער רישיונות מסוכן שחובה לבדוק. מטא הנתונים במערכת מציגים רישיון קוד פתוח מסוג Apache 2.0, אבל גוף הטקסט של הכרטיס קובע במפורש רישיון CC BY-NC-SA 4.0 שאוסר שימוש מסחרי ומחייב שיתוף זהה. אם המטרה היא שילוב במוצר מסחרי, המאגר הזה פשוט לא מתאים כרגע.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
לא כדאי להסתמך על זה. אף שמטא הנתונים מציגים apache-2.0, גוף התיעוד מגדיר רישיון CC BY-NC-SA 4.0 שאוסר במפורש שימוש מסחרי. שימוש לצורך רווחי חושף אתכם לסיכון משפטי ברור.
כמה נפח אחסון צריך לפנות בשבילו?
המאגר שוקל 2.71 טרה בייט בסך הכל. הנתונים ארוזים בקובצי ארכיון מכווצים בפורמט tar.zst, כך שתצטרכו לקחת בחשבון מקום נוסף לפריסה שלהם על הדיסק הקשיח. מומלץ להוריד רק את הפיצול הספציפי שאתם צריכים.
מה ההבדל בין מפות העומק הגולמיות לאמת הקרקע?
העומק הגולמי מגיע ישירות מהמצלמות ומכיל את כל החורים, הרעשים והעיוותים האופייניים לחיישני עומק אופטיים. לעומת זאת, תיקיית אמת הקרקע מכילה מפות עומק שעברו עיבוד וניקוי כדי להציג ערכים מדויקים של המרחק בפועל. ההשוואה ביניהם עוזרת לאמן מודלים שמתקנים רעש חיישנים.
האם יש במאגר טקסט או שפה כלשהי?
אין במאגר טקסט מעבר לשמות הקבצים והתיקיות באנגלית ונתוני הכיול של המצלמות. מדובר בדאטהסט חזותי בלבד של תמונות צבע ומפות עומק בפורמט 16 ביט. שאלות של תמיכה בעברית או שפות אחרות פשוט לא רלוונטיות לכאן.
איך טוענים
המשקל הכולל עומד על 2.71 טרה בייט, כך שצריך להיערך עם נפח אחסון רציני ורוחב פס מתאים לפני שמתחילים להוריד. הקבצים במאגר מחולקים לקובצי ארכיון דחוסים בסיומת tar.zst, וחלקם מפוצלים למספר חלקים כדי להקל על ההורדה. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. בעבודה השוטפת, מפתחות העומק שמורות כתמונות 16 ביט ויש להמיר את ערכי הפיקסלים למילימטרים כדי לקבל את מרחק העומק הנכון יחד עם קובצי הכיול של המצלמות.
from datasets import load_dataset
ds = load_dataset("robbyant/mdm_depth")הרישיון
יש כאן סתירה ישירה שדורשת זהירות. המאגר מתויג ברישיון apache-2.0, אך בטקסט עצמו צוין רישיון CC BY-NC-SA 4.0. המשמעות של התנאי בכרטיס היא איסור מוחלט על שימוש מסחרי, חובת מתן קרדיט ליוצרים, ודרישה לשתף כל עבודה נגזרת או מודל שמאומן עליו תחת אותו רישיון מגביל בדיוק.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים