dpt-depth-estimation-3d-obj
רץ בדפדפןradamesרישיון לא דווח2022-04-08
העלאת תמונה בודדת מייצרת מפת עומק ומודל תלת ממדי שאפשר להוריד. זה מיועד למי שרוצה לבחון שחזור נפח מתמונות רגילות בלי להתקין ספריות מקומיות.
- —הורדות בחודש
- 277לייקים
מה זה
מעלים תמונה רגילה לממשק, והוא מעביר אותה דרך המודל Intel/dpt-large כדי לחשב את מרחק העצמים מהמצלמה. התוצאה הראשונה היא תמונת עומק בגווני אפור שמציגה את הפענוח הדו ממדי של השכבות בסצנה.
מיד אחר כך הקוד מפעיל את ספריית open3d, בונה ענן נקודות מנתוני העומק ויוצר ממנו אובייקט תלת ממדי. בחלון התצוגה מקבלים רשת תלת ממדית אינטראקטיבית וקובץ להורדה בפורמט gLTF. בעמוד יש דוגמאות מובנות מתוך תיקייה מקומית שמציגות את השחזור על תמונות שנבחרו מראש, כך שאפשר לראות את התוצאה עוד לפני שמעלים קובץ משלכם.
מתאים ל
- חילוץ מפות עומק
יצירת תמונת עומק מדויקת מתצלום בודד לצורכי בדיקה או עריכה גרפית.
- יצוא קובץ gLTF
בניית קובץ תלת ממדי ראשוני מתמונה כדי לייבא אותו לתוכנות מידול.
- בחינת מודל DPT
בדיקת היכולת של Intel/dpt-large על תמונות שונות מתוך תיקיית הדוגמאות.
איפה זה נופל
הקוד לא יוצר מודל תלת ממדי מלא מכל הכיוונים, אלא משליך את העומק מנקודת המבט של התמונה הבודדת. מה שהיה מוסתר מאחורי עצמים פשוט לא קיים בקובץ הסופי. בנוסף, הממשק הנוכחי מציג שגיאת בנייה ולכן לא זמין להרצה חיה ברשת, מה שמחייב להוריד את הקוד ולהריץ אותו ידנית אם רוצים את הפלט.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
העמוד פתוח לגישה חופשית ולא דורש תשלום או מנוי. עם זאת, הוא תקוע כרגע במצב שגיאה ולא מבצע חישובים. אם הקוד יתוקן, ההרצה על החומרה הבסיסית תישאר ללא עלות.
מה קורה לתמונות שמעלים לשם?
התמונה נשלחת לשרת שמריץ את הקוד לצורך פענוח העומק ויצירת קובץ התלת ממד. הממשק לא מציין שמירה ארוכת טווח של הקבצים מעבר לזמן הריצה. למרות זאת, כשהעמוד במצב תקול, עדיף לא להעלות אליו מידע רגיש.
האם אפשר להריץ את זה במחשב האישי?
כן, הקוד מבוסס על ספריות פתוחות ומוכרות כמו transformers ו־open3d. אפשר להעתיק את קובץ ה־app.py, להתקין את החבילות ולהריץ אותו מקומית. זה גם פותר את הבעיה שההדגמה ברשת לא עובדת כרגע.
במה זה שונה משימוש ישיר במודל של אינטל?
המודל המקורי רק מנחש מרחקים ומחזיר תמונת עומק שטוחה. כאן הוסיפו צעד שלוקח את המספרים האלה, הופך אותם לענן נקודות ובונה אובייקט gLTF. הערך המוסף הוא בחיבור בין פענוח התמונה לייצוא התלת ממדי.
איך משתמשים
גוררים תמונה לקלט או בוחרים באחת הדוגמאות המוכנות, ולוחצים להרצה. מאחורי הקלעים מוגדרת חומרת cpu-basic בסיסית, כך שחישוב העומק ובניית הרשת התלת ממדית ייקחו זמן ולא יופיעו מיד. לא צריך להירשם או להתחבר בשביל לנסות. הבעיה המרכזית כרגע היא שהאפליקציה נמצאת במצב של שגיאת בנייה, ולכן אי אפשר להריץ אותה בדפדפן עד שהמפתח יתקן את ההתקנה.
הרישיון
הרישיון לא דווח בעמוד של המאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, וכדאי להתייחס אליו כפרויקט להדגמה ומחקר בלבד.