map-anything — הדגמה
קוד פתוחfacebookcc-by-nc-4.02025-09-08
מעלים תמונות של חלל או חפץ ומקבלים מודל תלת-ממדי אינטראקטיבי יחד עם מפות עומק. מיועד למי שצריך שחזור גאומטרי ומדידות ישירות מתוך הדפדפן.
- 1.2Bפרמטרים
- 4.6 GBמשקל הקבצים
- —הורדות בחודש
- 129לייקים
מה זה
התהליך מתחיל בהעלאת קובצי תמונות או בחירה באחת מסצנות הדוגמה המובנות שמגיעות בתיקיית הדוגמאות. בצד הממשק יש גלריה שמציגה את הפריימים, בורר לדגימת מרווחי זמן, ואפשרות לסנן פריימים לפני שמתחילים בעיבוד.
לאחר העיבוד מתקבלות מספר תצוגות שונות בלשוניות נפרדות. לשונית אחת מציגה מודל תלת-ממדי בפורמט GLB שנוצר מהתחזיות, וכוללת אפשרויות להצגת מצלמות, רשת מש וסינון רקע שחור או לבן. לשוניות אחרות מציגות מפות עומק, מפות נורמלים, וכלי מדידה שמאפשר לבחור נקודות ישירות על התמונה כדי לקבל מרחקים.
מאחורי הקלעים רץ המודל facebook/map-anything, לצד שימוש בנתונים שקשורים ל־DL3DV-Benchmark. הקוד מבצע המרה של מפות עומק למערכת צירים עולמית, חישוב נורמלים מנקודות, וייצוא של ענני הנקודות לקובץ תלת-ממד לצפייה בדפדפן.
מתאים ל
- שחזור תלת-ממד של חדרים
מעלים רצף תמונות של חלל פנימי ומקבלים מודל GLB שניתן להוריד ולבדוק בדפדפן.
- הפקת מפות עומק ונורמלים
חילוץ מפות גאומטריות מדויקות מכל פריים לצורך עיבוד נוסף בתוכנות תלת-ממד חיצוניות.
- מדידת מרחקים מתוך תמונה
שימוש בלשונית Measure כדי לדקור נקודות על גבי התמונה ולראות מרחקים בעולם האמיתי.
איפה זה נופל
אם התמונות שהעליתם חסרות חפיפה או צולמו מזוויות בעייתיות, השחזור יצא מעוות או מקוטע, שכן אין כאן תיקון קסם לתמונות רעות. הממשק מסתמך על שרת ציבורי שיתופי, כך שאם יש עומס תמתינו בתור, ובנוסף קיימת תלות במגבלות הזיכרון של המאיץ שעלול לקרוס אם תעמיסו כמות חריגה של פריימים כבדים. סצנות הדוגמה נבחרו מראש ומציגות תוצאה נקייה מאוד שלא בהכרח מייצגת כל צילום ספונטני מהטלפון.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן חופשית לחלוטין וללא עלות. אין צורך להזין פרטי תשלום כדי להעלות תמונות ולהפיק מודל. כל עוד החומרה הציבורית זמינה, אפשר להשתמש בה בחופשיות.
מה קורה לקבצים שאני מעלה?
התמונות עוברות לשרת שמריץ את ה־Space כדי לבצע את החישובים, והקוד כולל פונקציות ניקוי שמפנות משאבים וזיכרון בסיום. למרות זאת, מדובר בסביבה משותפת ברשת. אין להעלות לשם תמונות פרטיות או מסמכים רגישים.
כמה זמן לוקח לשחזר סצנה?
זמן הריצה תלוי בכמות התמונות ובמצב המאיץ שמפעיל את הקוד. אם המאיץ כבר דלוק, העיבוד של סט ממוצע לוקח בדרך כלל בין כמה שניות לחצי דקה. אם יש תור בשרת או שהמאיץ במצב שינה, תצטרכו להמתין עוד רגע קל.
האם אפשר להריץ את זה על המחשב שלי?
כן, הקוד מבוסס על ספריות פתוחות כמו Gradio ו־PyTorch ומופץ תחת רישיון apache-2.0 שמאפשר הרצה מקומית. עם זאת, תצטרכו מחשב עם כרטיס מסך חזק כדי לקבל זמני עיבוד סבירים.
איך מריצים
גוררים תמונות לחלון ההעלאה, מגדירים מרווח דגימה ופילטרים אם רוצים, ולוחצים על Reconstruct. אין צורך בהתחברות או בהרשמה מראש.
העיבוד רץ על מאיץ מסוג zero-a10g שמנוהל דרך מנגנון spaces. המאיץ מוקצה לפי דרישה, ולכן ייתכן עיכוב קצר בהפעלה הראשונית אם החומרה צריכה להתעורר, אך כשהיא פעילה חישובי הגאומטריה והייצוא רצים מקומית על השרת תוך שניות בודדות בהתאם לכמות התמונות.
pip install -U huggingface_hub hf download facebook/map-anything
הקבצים
4 קבצים במאגר, 4.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הקוד והמערכת מפורסמים תחת רישיון apache-2.0. הרישיון חופשי ומתיר שימוש מסחרי, שינוי והפצה, בכפוף לשמירה על הודעות זכויות היוצרים. המידע שתעלו מעובד על גבי השרת המארח של Hugging Face, ולכן לא מומלץ להעלות חומרים רגישים או סודיים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא