vggt-omega
רץ בדפדפןfacebookother2026-05-16
הופך סרטון קצר או כמה תמונות לענן נקודות תלת-ממדי יחד עם מסלול המצלמה. מתאים לחוקרים ומפתחי ראייה ממוחשבת שרוצים לבדוק שחזור מרחבי בלי להרים סביבה מקומית.
- —הורדות בחודש
- 77לייקים
מה זה
מעלים סרטון קצר או אוסף תמונות של אותה סצנה, ומקבלים מודל תלת-ממדי בפורמט GLB שמוצג ישירות בדפדפן. התוצאה מציגה ענן נקודות מרחבי ואת המיקומים המשוערים של המצלמה בכל פריים, כך שאפשר לסובב את הסצנה ולבחון את הדיוק הגיאומטרי.
מאחורי הקלעים רץ המודל VGGT-Omega, פיתוח משותף של קבוצת Visual Geometry Group מאוקספורד ומטא. מדובר במודל feed-forward שמחשב עומק וזוויות מצלמה ישירות מהפיקסלים, בלי תהליכי אופטימיזציה ארוכים וכבדים שנפוצים בשיטות שחזור מסורתיות.
בדף משולבות חמש דוגמאות מוכנות של קובצי וידאו, כולל הדגמה עם רובוט ודוגמה של סינון שמיים. הן מאפשרות לראות מיד איך רמות ביטחון שונות משפיעות על צפיפות הנקודות ועל ניקיון הרקע.
מתאים ל
- בדיקת שחזור סצנה מווידאו
מעלים קטע וידאו קצר ובודקים תוך דקות אם המודל מצליח לבנות ענן נקודות יציב של המרחב.
- חילוץ מסלול תנועת מצלמה
מזינים סדרת פריימים ומקבלים תצוגה תלת-ממדית של מיקומי המצלמה וזוויות הצילום לכל אורך התנועה.
- ניקוי רקע ושמיים בשחזור
משתמשים במסננים המובנים לשמיים או לרקע אחיד כדי להשאיר בענן הנקודות רק את האובייקט המרכזי.
איפה זה נופל
ההדגמה מוגבלת לסרטונים קצרים או לכמות מדודה של תמונות, ולא תתאים לעיבוד סרט מלא או סריקות שטח נרחבות. ענן נקודות אינו רשת פוליגונים סגורה, ולכן לא מקבלים כאן מודל עם טקסטורה מלאה שמוכן ישירות למשחקים.
מעבר לכך, הדוגמאות שנבחרו מראש מציגות תנאי צילום נוחים. בסרטונים עם תנועות מצלמה מהירות מדי, תאורה חלשה או משטחים חסרי מרקם, המודל עלול לפספס נקודות עומק ולייצר סטיות במיקומי המצלמה.
שאלות
נפוצות
האם השימוש בהדגמה בדפדפן עולה כסף?
השימוש בעמוד פתוח ואינו דורש תשלום. המערכת מקצה חומרה שיתופית מסוג A10G דרך ZeroGPU כדי להריץ את החישובים. כל עוד יש מכסה פנויה בתשתית, אפשר להשתמש בה חופשי.
כמה זמן לוקח לקבל מודל תלת-ממדי?
העיבוד מתבצע בגישת feed-forward ישירה, כך שהחישוב עצמו אורך לרוב שניות ספורות עד עשרות שניות בודדות. משך הזמן הכולל תלוי בעיקר באורך הווידאו ובשאלה אם יש תור פנוי במאיץ הגרפי באותו רגע.
במה ההדגמה הזו שונה מהרצת המודל מקומית?
כאן מקבלים ממשק ויזואלי מהיר שמוציא קובץ GLB לתצוגה בדפדפן, אך מוגבלים בכוח העיבוד של שרת שיתופי. הרצה מקומית של קוד הפרויקט מגיטהאב מאפשרת להזין סרטונים ארוכים בהרבה, לשלוט בכל פרמטר בקוד ולשלב את הפלט בתוך צינור עיבוד שלם.
האם מותר להשתמש בתוצרים בפרויקט מסחרי?
לא, הרישיון שבו מטא שחררה את הפרויקט מגביל את השימוש למחקר בלבד. אסור לקחת את המודל או להשתמש בתוצאות השחזור שלו למוצרים מסחריים או לשירותים בתשלום.
איך משתמשים
גוררים וידאו או תמונות לעמודה השמאלית, קובעים את קצב דגימת הפריימים אם מדובר בווידאו, ולוחצים על כפתור השחזור. אפשר לכוונן ספי ביטחון, להגביל את מספר הנקודות, או להפעיל סינון לרקע שחור, לבן ושמיים כדי לנקות רעשים בלי להריץ את הכל מחדש.
ההדגמה רצה על מאיץ A10G דרך תשתית ZeroGPU. המשמעות היא שאין צורך בהתקנה, אבל המשאבים מוקצים לפי דרישה, ולכן ייתכן שתמתינו בתור קצר עד שהמעבד הגרפי יתפנה להתחלת העיבוד.
הרישיון
הקוד וההדגמה מופצים תחת רישיון FAIR Noncommercial Research License v1 של מטא. הרישיון מיועד למחקר בלבד ואוסר כל שימוש מסחרי ישיר במודל, בקוד או בתוצרים. כל קובץ שמעלים נשלח לעיבוד בשרתי Hugging Face המארחים את ההדגמה.