Metric3D
רץ בדפדפןJUGGHMgpl-3.02024-01-09
מעלים תמונה בודדת ומקבלים מפת עומק מטרית, נורמלים של פני השטח וענן נקודות תלת ממדי. מיועד למי שצריך גאומטריה אמיתית מתמונה רגילה בלי לסרוק בעצמו.
- —הורדות בחודש
- 80לייקים
מה זה
אתם מעלים תמונת דו ממד ובוחרים מודל מתוך שתי אפשרויות, vit-small או vit-large. הממשק מריץ את Metric3Dv2, מודל גאומטרי שאומד עומק ונורמלים בגישת zero shot. בהגדרות המתקדמות אפשר להזין נתוני מצלמה ידנית כמו רוחב חיישן ואורך מוקד, או לחלץ אותם אוטומטית מנתוני EXIF כדי לחשב את הפרמטרים הפנימיים של העדשה.
בסיום הניתוח מקבלים תצוגה גרפית של העומק והנורמלים, קובצי npy להורדה עם המידע הגולמי, וכפתור שבונה ענן נקודות תלת ממדי. התוצאה התלת ממדית מוצגת ישירות בדפדפן וזמינה גם להורדה כקובץ ply.
מתאים ל
- שחזור תלת ממד מתמונה
מייצרים ענן נקודות בפורמט ply מתמונה יחידה לצורך ייבוא בתוכנות תלת ממד.
- מדידת עומק מדויקת
מפיקים מפת עומק מטרית בקובץ npy על בסיס נתוני המצלמה המקוריים.
- חישוב נורמלים לפני שטח
מחלצים כיווני משטחים עבור ניתוח גאומטרי או אלגוריתמים של ראייה ממוחשבת.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה במצב תקלה ולא מגיבה. מעבר לזה, מפת עומק מטרית מדויקת תלויה לגמרי בפרמטרי המצלמה. אם התמונה חתוכה, חסרת נתוני EXIF או שהכנסתם נתונים שגויים של אורך מוקד, המרחקים שתקבלו יהיו מעוותים. בנוסף, ענן הנקודות שמוצג בממשק הוא גרסה דלילה בלבד.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
כרגע לא, כיוון שהיא מוגדרת במצב RUNTIME_ERROR. עד שהמפתח לא יתקן את הבעיה בקוד או בהגדרות השרת, אי אפשר להריץ אותה בדפדפן. אפשר עדיין להוריד את הקוד ולהריץ אותו באופן עצמאי.
האם השימוש כרוך בתשלום?
האפליקציה פתוחה לשימוש ללא עלות בדפדפן. היא רצה על חומרת t4-small שהוקצתה עבורה. אין צורך לשלם על הרצות בודדות.
האם אפשר להריץ את הכלי מקומית?
כן, הקוד זמין תחת רישיון gpl-3.0 ומבוסס על ספריות סטנדרטיות כמו PyTorch ו־Gradio. תצטרכו חומרת GPU מתאימה כדי להריץ את מודלי הראייה בנוחות. זה פתרון טוב במיוחד עכשיו כשהגרסה ברשת לא עובדת.
מה ההבדל בין vit-small לבין vit-large?
אלו שני גדלים שונים של מודל הבסיס שבוחרים בתפריט. הדגם הגדול מדויק יותר בחישובי המרחק והגאומטריה אבל דורש יותר משאבים. הדגם הקטן מיועד להרצה מהירה יותר ומשתמש בפחות זיכרון.
איך משתמשים
טוענים תמונה מהמחשב או בוחרים דוגמה, לוחצים על Predict Depth and Normal וממתינים. אם רוצים תלת ממד, לוחצים על כפתור השחזור הנוסף. השרת מוגדר על חומרת t4-small, אבל נכון לעכשיו הוא במצב RUNTIME_ERROR, כך שההרצה פשוט לא תעבוד בדפדפן עד שיתקנו את הקריסה.
הרישיון
הפרויקט מפורסם תחת רישיון gpl-3.0. מותר להשתמש ולשנות את הקוד, אך כל פרויקט נגזר שמפיצים חייב להיות פתוח תחת אותו רישיון. החומרים שאתם מעלים עוברים דרך שרתי הפלטפורמה שמארחת את היישום.