nyu_depth_v2
קוד פתוחsayakpaulapache-2.02022-11-22
גרסה מעובדת לאחד ממאגרי הראייה הממוחשבת המוכרים להערכת עומק בחללים סגורים. הוא מתאים למי שבונה מודלים לתלת-ממד בתוך מבנים וזקוק להתאמה ישירה בין צבע לעומק.
- 3,285הורדות בחודש
- 41לייקים
מה זה
המאגר כולל זוגות תואמים של תמונות צבע ומפות עומק תואמות עבור חללים פנימיים. המקור מבוסס על צילומים ממצלמת קינקט של מיקרוסופט, שתיעדה מבנים מסחריים ופרטיים בשלוש ערים בארצות הברית על פני 464 סצנות שונות. התיוג המקורי נוצר בעזרת עובדים באמזון מקניקל טורק.
הגרסה הזו נלקחה מהפרויקט Fast Depth, שמציע עיבוד מקדים של הנתונים המקוריים של NYU ומילוי ערכי עומק חסרים. החלוקה הפנימית במאגר מכילה 47,584 דוגמאות בסט האימון ו־654 דוגמאות בסט הבדיקה. המבנה עצמו פשוט ומכיל בכל רשומה רק שני שדות, תמונת המקור ומפת העומק שלה.
מתאים ל
- אימון מודלי עומק לחדרים
הערכת מרחק לכל פיקסל מתמונת RGB יחידה עבור רובוטים ורחפנים שפועלים בתוך מבנים.
- הערכת ביצועים במחקר
בדיקת דיוק של ארכיטקטורות ראייה ממוחשבת מול סט המבחן המקובל בתחום שמכיל 654 תמונות.
- שיערוך מרחבי למציאות רבודה
הפקת מפות עומק ממשטחים וקירות באפליקציות טלפון ללא צורך בחיישן LiDAR ייעודי.
איפה זה נופל
הנתונים כולם מגיעים מתוך מבנים בלבד ומשלוש ערים בארצות הברית, ולכן המאגר לא מתאים להערכת עומק בסביבות חוץ או ברחוב. מקור המידע הוא חיישן קינקט ישן יחסית, כך שאיכות התמונה ורזולוציית העומק מוגבלות לעומת חיישנים מודרניים. הכרטיס מציין שחסר מידע על הטיות ועל שיקולים חברתיים, ולכן יש לבדוק ידנית את רגישות המודל לסוגי תאורה וחפצים שאינם מופיעים בחדרים אמריקאיים טיפוסיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. גם רישיון Apache 2.0 המופיע במאגר וגם רישיון MIT המוזכר בכרטיס מאפשרים שימוש מסחרי חופשי. יש לשמור על תנאי הייחוס והעתק הרישיון המקורי בקוד.
במה שונה הגרסה הזו מהמאגר המקורי של NYU?
הגרסה הזו מבוססת על העיבוד של פרויקט Fast Depth, שבו מילאו ערכי עומק חסרים וארגנו את התמונות לזוגות מוכנים לעבודה. בנוסף, היא מאורגנת כסט אימון של 47,584 תמונות וסט בדיקה של 654 תמונות.
האם המאגר רלוונטי לזיהוי טקסט או שפה בעברית?
לא. מדובר בדאטהסט ויזואלי לחלוטין שמיועד למדידת מרחקים של משטחים וחפצים. השפה היחידה שמוזכרת בו היא אנגלית עבור התיעוד והתיוגים המקוריים.
איך טוענים
המאגר מחולק לקובצי ארכיון בפורמט tar וכולל 17 קבצים ללא דרישה לאישור גישה. הטעינה נעשית כרגיל בספריית הדאטהסטים. מומלץ לגשת לדגימות לפי אינדקס לפני הפנייה לשדה התמונה, כי שליפת העמודה כולה מפענחת את קובצי ה־PNG בבת אחת ומאיטה את הריצה. השדות החשובים לשימוש הם image המכיל תמונת RGB, ו־depth_map המכיל תמונה במצב L עם נתוני העומק.
from datasets import load_dataset
ds = load_dataset("sayakpaul/nyu_depth_v2")הרישיון
המאגר מדווח ברישיון Apache 2.0 בעמוד הדאטהסט, בעוד שהטקסט בכרטיס מציין רישיון MIT שמגיע מהפרויקט Fast Depth. שני הרישיונות מתירניים מאוד ומאפשרים שימוש מסחרי, שינוי והפצה, כל עוד שומרים על הודעת זכויות היוצרים והייחוס המקורי. אין חובת שיתוף באותו רישיון, ומודל שאומן על הנתונים אינו מחייב פתיחת קוד.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים