MonoScene

מה זה

אתם מעלים תמונת כביש או רחוב ברזולוציה של 1220 על 370 פיקסלים, והממשק מייצר גרף שמציג את הסביבה בתלת ממד. במקום ענן נקודות פשוט, המטרה היא להבין איזה עצמים נמצאים בחלל ואיפה הם עומדים לפי תמונה אחת בלבד.

מאחורי הקלעים רץ המודל anhquancao/monoscene_kitti שנבנה על ארכיטקטורת MonoScene ופורסם בכנס CVPR. לפי הקוד יש בממשק דוגמאות מובנות להרצה, כך שאפשר לבדוק את הפלט גם בלי להכין מראש צילום שמתאים בול לממדים הנדרשים.

מתאים ל

• בדיקת שחזור סמנטי

  בוחנים איך המודל מפרש נפח של מכוניות וכביש מתוך צילום בודד.

• השוואת ביצועי מודל

  מריצים את דוגמאות המבחן של KITTI כדי לראות את איכות הפלט מול שיטות מתחרות.

• הדגמה ויזואלית למחקר

  מפיקים גרף תלת ממדי של סצנה לצורך הצגת היכולות של MonoScene.

איפה זה נופל

הבעיה המרכזית היא שהעמוד תקוע על שגיאת בנייה ולא עולה. חוץ מזה, המודל אומן על מאגר KITTI ומצפה לפורמט צר ורחב של 1220 על 370, כך שתמונות רגילות מהטלפון לא יתאימו בלי חיתוך. גם כשהקוד עובד, חישוב נפחי על מעבד בסיסי ייקח המון זמן בהשוואה לכרטיס מסך אמיתי.

איך משתמשים

בפועל בוחרים דוגמה או מעלים קובץ בגודל המתאים ולוחצים על הפעלה כדי לראות את הגרף התלת ממדי. אין כאן צורך בהרשמה או בתשלום, אבל השרת מוגדר על מעבד בסיסי בלי מאיץ גרפי. מעבר לזה, המצב הנוכחי מוגדר כשגיאת בנייה, כך שכרגע אי אפשר אפילו להריץ את העמוד בדפדפן עד שיתקנו את ההתקנה.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בכפוף לתנאי הרישיון. תמונות שאתם מעלים מועברות לעיבוד על השרת הציבורי שבו הדמו מתארח.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗