DepthPro
קוד פתוחappleapple-amlr2024-10-03
הערכת עומק מטרי מתמונה בודדת ברזולוציה גבוהה ובמהירות של שבריר שנייה. הוא מחזיר מרחקים אמיתיים במטרים בלי לדרוש נתוני כיול של המצלמה.
- 1.8 GBמשקל הקבצים
- 3,431הורדות בחודש
- 546לייקים
מה זה
המודל הזה מייצר מפות עומק חדות במיוחד ברזולוציה של 2.25 מגה פיקסל תוך 0.3 שניות על מעבד גרפי רגיל. השילוב כאן פותר בעיה מוכרת בתחום, במקום לקבל הערכה יחסית מעורפלת שדורשת נתוני חיישן, הוא יודע לחשב אורך מוקד ישירות מתוך הפיקסלים ולהוציא מרחק אבסולוטי במטרים.
אפל אימנו את המודל על שילוב של מידע סינתטי ונתונים מהעולם האמיתי באמצעות ארכיטקטורת vision transformer שמטפלת בכמה קנה מידה במקביל. המטרה שלהם הייתה לתפוס גבולות דקים ופרטים בתדר גבוה, כמו שיער או ענפים, שבדרך כלל נמרחים במודלים דומים.
מתאים ל
- שחזור תלת ממד מתמונה
קבלת ענן נקודות במטרים מתמונה אחת בלי צורך בנתוני כיול מוקדמים של העדשה.
- סגמנטציה וחיתוך אובייקטים
המודל שומר על גבולות חדים ומאפשר להפריד עצמים מורכבים מהרקע לפי עומק.
- עיבוד תמונה בזמן אמת
זמן ריצה של 0.3 שניות מאפשר לשלב חישובי עומק בתהליכי עבודה מהירים.
איפה זה נופל
המשקלים שפורסמו במאגר הם מימוש ייחוס שאומן מחדש, והיוצרים מציינים במפורש שהביצועים קרובים למספרים במאמר המקורי אבל לא זהים להם. אם אתם בונים על דיוק ברמת המילימטר לפי הגרפים מהפרסום, צריך לקחת את זה בחשבון ולבדוק על המידע שלכם בפועל.
אותה משפחה
DepthPro יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל דורש פרמטרים של המצלמה כדי לחשב עומק במטרים?
לא. המודל כולל רכיב מובנה שמעריך את אורך המוקד של העדשה ישירות מתוך התמונה, כך שמקבלים מרחק אבסולוטי במטרים גם על תמונות אקראיות מהרשת.
האם אפשר להשתמש במודל הזה באפליקציה מסחרית?
כדאי להיזהר. הרישיון של אפל מיועד למחקר, ולכן שילוב ישיר שלו במוצר מסחרי דורש בדיקה משפטית של תנאי הרישיון המלאים.
איך מריצים
את המשקלים מורידים דרך huggingface-cli או ישירות מהמאגר, משהו כמו 1.8 גיגה בייט בארבעה קבצים. ההרצה נעשית בפייתון דרך הספרייה depth-pro או בסקריפט שורת פקודה פשוט שמקבל נתיב לתמונה.
חומרה סטנדרטית עם כרטיס מסך מודרני מספיקה בהחלט כדי לקבל את קצב העבודה של 0.3 שניות לתמונה. אין פה כרגע גרסאות שונות בגדלים אחרים, וזה משקל מספיק קל שמצדיק להריץ אותו מקומית במקום להסתמך על שירות חיצוני.
pip install -U huggingface_hub hf download apple/DepthPro
הקבצים
4 קבצים במאגר, 1.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון המדווח הוא apple-amlr, רישיון המחקר של אפל. זה בדרך כלל מגביל את השימוש למטרות אקדמיות ומחקר פנימי, ולא מתאים להפצה במוצר מסחרי סגור בלי אישור מפורש.