vggt

מה זה

אתם מעלים קובץ וידאו או כמה תמונות סטילס, ולוחצים על כפתור השחזור. המערכת מחלצת את הפריימים, מחשבת עומק וזוויות צילום, ומוציאה קובץ GLB שאפשר לסובב ולבחון ישירות בנגן תלת ממד מובנה על המסך. אפשר לסנן החוצה שמיים או רקעים אחידים, ולהגדיר סף ביטחון שמנקה נקודות רועשות.

מאחורי הקלעים רץ VGGT-1B, מודל של פייסבוק שהוצג עבור CVPR 2025 ומתמחה בהערכת גיאומטריה ומצלמות. לצדו פועל מודל בשם skyseg של JianyuanWang שמבודד ומסיר שמיים כדי שלא יזהמו את ענן הנקודות. בדוגמאות המוכנות מראש אפשר לראות סרטונים של אתרים כמו הקולוסיאום והחומה הגדולה, חללי פנים כמו מטבח, וגם ציור שמן וסרטון מצויר.

מתאים ל

• שחזור סביבה מתוך וידאו

  מעלים צילום וידאו של חדר או מבנה ומקבלים קובץ GLB עם ענן נקודות וזוויות הצילום.

• בדיקת גיאומטריה לתמונות בודדות

  בודקים איך המודל מתמודד עם מדיה לא שגרתית כמו איור או ציור שמן ישן.

• הערכת תנוחת מצלמה למחקר

  מחלצים את מיקומי המצלמה המשוערים ברצף פריימים לצורך השוואה מול אלגוריתמים אחרים.

איפה זה נופל

הפלט הוא ענן נקודות ומיקומי מצלמה, לא מודל פוליגונלי סגור עם טקסטורות חלקות. הדוגמאות שנבחרו מראש מציגות סרטונים מיוצבים היטב סביב אובייקט ברור, אבל וידאו עם תנועות חדות, חוסר עקביות בתאורה או מעט מדי חפיפה בין תמונות ייצר ענן נקודות מקוטע ומלא חורים. בנוסף, הדוגמאות לא נשמרו במטמון אלא מחושבות מחדש, כך שכל בדיקה דורשת המתנה.

איך משתמשים

גוררים וידאו או תמונות לתיבת הקלט ולוחצים Reconstruct. הריצה מבוססת על חומרת Zero-A10G, מה שאומר שהמעבד הגרפי מוקצה דינמית כששולחים בקשה, ולכן ייתכנו כמה שניות של התעוררות לפני שהעיבוד מתחיל. לא צריך לפתוח חשבון כדי לבדוק דוגמה, אבל המהירות מושפעת ממספר הפריימים שמעלים ומהעומס הכללי על השרת באותו רגע.

הרישיון

הקוד והמודלים מפורסמים תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש למטרות מחקר, לימוד ובדיקות אישיות בלבד, ואוסר כל שימוש מסחרי בתוצרים. כל קובץ שאתם מעלים נשלח לעיבוד בשרתי Hugging Face שעליהם מתארח ה־Space.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗