InstantSplat

מה זה

מעלים קבוצה של תמונות מאותה סצנה, והמערכת מחזירה תצוגת תלת ממד אינטראקטיבית, קובץ ply להורדה וסרטון וידאו שמציג סיבוב סביב האובייקט. הממשק מציע גם דוגמאות מובנות של סטים דלילים של תמונות כדי לבחון תוצאות מוכנות מראש בלי להעלות קבצים משלכם.

מאחורי הקלעים רץ שילוב של מודל DUSt3R, ספציפית AsymmetricCroCo3DStereo, יחד עם Gaussian Splatting. במקום להריץ תהליך SFM ארוך וכבד כדי לנחש איפה עמדה המצלמה בכל פריים, המודל משתמש ביישור גלובלי מהיר ובאימון משותף כדי להגיע למודל התלת ממדי ישירות מהתמונות.

מתאים ל

• שחזור אובייקטים מתמונות

  יצירת מודל תלת ממדי של חפץ או סביבה מתוך כמה זוויות צילום בודדות, בלי סריקה מקיפה.

• הפקת קובצי PLY

  הורדת ענן נקודות ונתוני גאוסיאנים כקובץ ply סטנדרטי לעבודה בתוכנות גרפיקה חיצוניות.

• רינדור סרטוני תצוגה

  קבלת סרטון מוכן שמסתובב סביב הסצנה כדי לראות את איכות השחזור בלי לפתוח תוכנת תלת ממד.

איפה זה נופל

יש שתי דרישות קשיחות שחוסמות את הריצה אם מתעלמים מהן, חייבים להעלות יותר מתמונה אחת, וכל התמונות שהעליתם חייבות להיות בדיוק באותה רזולוציה. בנוסף, הדוגמאות בעמוד לא נשמרות במטמון, כך שכל בדיקה מפעילה חישוב מחדש.

איך משתמשים

גוררים כמה תמונות ללשונית הקלט ולוחצים על RUN. האפליקציה רצה על חומרת zero-a10g, כך שאין צורך בהתקנות או בהתחברות מיוחדת, אבל בגלל שהיא במצב שינה ייתכן שתצטרכו להמתין דקה או שתיים להתעוררות השרת. העיבוד עצמו אמור לקחת שניות בודדות בהתאם לכמות התמונות.

הרישיון

הקוד מופץ תחת רישיון mit, שזה רישיון מתירני שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד. הקבצים שאתם מעלים מעובדים בשרת של Hugging Face בזמן הריצה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗