EDGS
רץ בדפדפןCompVisother2025-04-11
מעלים סרטון או תמונות ומקבלים שחזור תלת ממדי מבוסס Gaussian Splatting בתוך הדפדפן. הכלי מיועד למי שרוצה לבדוק התכנסות מהירה של מודל תלת ממד בלי תהליכי עיבוי כבדים.
- —הורדות בחודש
- 72לייקים
מה זה
אתם מעלים קובץ וידאו או סדרת תמונות, והמערכת מחלצת מהם נקודות מבט נבחרות ומחשבת התאמות חזותיות. מתחת למכסה המנוע רצים המודלים facebook/VGGT-1B ו־JianyuanWang/skyseg, שמבצעים עיבוד גיאומטרי ומקטעים שמיים במידת הצורך. האלגוריתם מבוסס על מאמר המחקר של EDGS מבית CompVis, שמציע לוותר על שלב הדנסיפיקציה המסורתי ב־3DGS כדי לקצר משמעותית את זמן ההתכנסות.
בסיום הריצה מקבלים מודל תלת ממדי סופי שמוצג ישירות ברכיב צפייה בדפדפן, לצד סרטון שמציג את מהלך האימון. אפשר גם להוריד קובץ ply של המודל המאומן. הממשק כולל דוגמאות מוכנות מראש של סרטוני וידאו קצרים, כמו מאפייה, פרחים, פירות, סלט ורכבת קלה, שמאפשרות לבחון את התוצאות בלי להעלות חומרים אישיים.
מתאים ל
- שחזור אובייקטים מסרטון
המרת צילום וידאו רציף של פריט או חלל קטן למודל תלת ממדי מהיר בפורמט ply.
- בדיקת שיטת EDGS
בחינה מעשית של התכנסות גאוסיאנים ללא דנסיפיקציה בהשוואה ל־3DGS קלאסי.
- חילוץ סצנות מדוגמאות
הרצת אופטימיזציה על סרטוני הדוגמה המובנים לצורך בדיקת ביצועים ודיוק גיאומטרי.
איפה זה נופל
ההדגמה הזאת היא גרסה מפושטת של השיטה המוצגת במאמר המקורי, ולכן היא לא תפיק את מלוא האיכות של יישום מלא ומקומי. כפתורי הרינדור המתקדמים למסלול מצלמה מעגלי והורדת קובץ המצלמות מנוטרלים בקוד. בנוסף, המערכת מגבילה את גודל התמונה ל־1024 פיקסלים, כך שפרטים קטנים בסצנות עמוסות יאבדו לפני שלב האימון.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן חופשית ואינה דורשת תשלום או הרשמה. היא נשענת על משאבי zero-a10g שמוקצים להרצה זמנית.
במה ההדגמה הזו שונה מהמודל המלא במאמר?
הקוד מגדיר במפורש שמדובר בגרסה מפושטת של שיטת EDGS. חלק מהאפשרויות, כמו רינדור מסלולי צילום ייעודיים וייצוא נתוני מצלמה, חסומות בממשק.
האם אפשר להריץ את המערכת על המחשב שלי?
כן, מדובר באפליקציית Gradio שמשתמשת בספריות פייתון סטנדרטיות ופקודות מערכת. תצטרכו להתקין את התלויות ולספק כרטיס מסך מתאים להרצת שלד האופטימיזציה.
כמה זמן לוקח העיבוד בפועל?
הזמן תלוי במספר נקודות המבט ובמספר צעדי האופטימיזציה שבחרתם בסליידר. עיבוד מקדים של תמונות והרצת מאות צעדי אימון על כרטיס A10G אורכים בדרך כלל מספר דקות.
איך משתמשים
טוענים קובץ או בוחרים באחת הדוגמאות, מכוונים את כמות נקודות המבט, מספר ההתאמות ומספר צעדי האופטימיזציה, ולוחצים על Preprocess Input. כשהעיבוד המקדים מסתיים וכפתור השחזור נדלק, לוחצים על Start Reconstruction וצופים בלוגים בזמן אמת. האפליקציה רצה על חומרת zero-a10g, כך שזמן הריצה תלוי בעומס המשתמשים על השרת המשותף, ואין צורך בהתחברות כדי להתחיל לעבוד.
הרישיון
הרישיון מוגדר כ־other, מה שאומר שהמפתחים לא סיפקו רישיון קוד פתוח סטנדרטי. במצב כזה אין אישור מפורש לשימוש מסחרי, ומומלץ לבדוק את תנאי המאמר והקוד המקורי לפני שמשלבים את המודלים שנוצרו בפרויקטים חיצוניים.