image2mesh

מה זה

התהליך פשוט. אתם מעלים תמונה ובוחרים רמת איכות לרשת בסליידר שנע בין 1 ל־5, כשהברירת מחדל היא 3. בתגובה הממשק מחזיר שני פלטים: תמונה של מפת העומק ותצוגה אינטראקטיבית של המודל התלת ממדי.

מאחורי הקלעים רץ המודל vinvino02/glpn-nyu שמבצע הערכת עומק, וספריית open3d שבונה את הרשת הגאומטרית מתוך הנתונים האלה לפי מדריך שפורסם ב־Towards Data Science. בממשק יש גם תיקיית דוגמאות מובנית, כך שאפשר לנסות תמונות קיימות בלי להעלות קובץ משלכם.

מתאים ל

• הערכת עומק מתמונות פנים

  בדיקה מהירה של מפת עומק לחדרים וחללים סגורים בעזרת מודל GLPN.

• המרת תמונה לרשת תלת ממדית

  יצירת קובץ רשת בסיסי שאפשר לצפות בו ולסובב ישירות בחלון הדפדפן.

• התנסות בספריית open3d

  בחינת השילוב בין מודל חיזוי עומק לבין בניית גאומטריה בקוד פייתון.

איפה זה נופל

כרגע האפליקציה במצב של שגיאת ריצה (RUNTIME_ERROR), כך שהיא פשוט לא תעבוד בדפדפן עד שיתקנו את הקוד או את התלויות. מעבר לזה, המודל אומן על מאגר NYU שמיועד לסביבות פנים, ולכן הוא לא מתאים לתמונות חוץ מורכבות. בנוסף, אל תצפו למודל תלת ממדי מלא מכל הכיוונים, מדובר בהבלטה של התמונה על בסיס מפת עומק מחזית אחת בלבד.

איך משתמשים

הממשק בנוי ב־Gradio ורץ על חומרת מעבד בסיסית, cpu-basic. העבודה היא בלחיצה אחת אחרי בחירת התמונה ואיכות הרשת. הדוגמאות לא נשמרות במטמון לפי ההגדרות בקוד, כך שכל בקשה מחושבת במקום. בגלל שמדובר במעבד רגיל ולא במאיץ גרפי, יצירת המודל יכולה לקחת זמן, במיוחד באיכות גבוהה.

הרישיון

הרישיון לא דווח במאגר. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד או בתוצרים, ואי אפשר לדעת מה המדיניות לגבי שמירת התמונות שאתם מעלים לשרת.

הרישיון המלא ב־Hugging Face ↗