GeometryCrafter
רץ בדפדפןTencentARCother2025-04-01
הכלי מפיק גאומטריה תלת ממדית ומפות עומק מתוך קטעי וידאו רגילים. הוא מיועד לחוקרים ויוצרים שרוצים לחלץ מבנה תלת ממדי של סצנה נעה ישירות בדפדפן.
- —הורדות בחודש
- 79לייקים
מה זה
אתם מעלים קובץ וידאו ומקבלים סרטון של מפות עומק, קובץ נתונים להורדה בפורמט npz ושישה מודלים תלת ממדיים אינטראקטיביים של פריימים נבחרים מתוך הרצף. הממשק מציג שישה סרטוני דוגמה מובנים בקבצי mp4, שמוגדרים לעיבוד של שישים פריימים ברזולוציה של 640 פיקסלים.
מאחורי הקלעים רץ שילוב של שלושה מודלים: GeometryCrafter של TencentARC, מודל הווידאו stable-video-diffusion-img2vid-xt של Stability AI, ומודל הערכת העומק והגאומטריה moge-vitl. המערכת משתמשת ברשת unet זמנית ומרחבית ובמפענח ייעודי למפות נקודות, כדי לחשב עומק וענני נקודות שמתאימים לתנועה לאורך זמן.
מתאים ל
- הפקת מפות עומק מווידאו
יצירת סרטון עומק רציף מתוך קובץ וידאו קיים לצורכי אפקטים או שילוב אלמנטים גרפיים.
- חילוץ רשתות תלת ממד
בדיקת מבנה גאומטרי וענני נקודות של פריימים מתוך וידאו בממשק תלת ממד ישיר.
- מחקר גאומטריה מבוססת ראייה
הורדת קובץ npz לצורך ניתוח מעמיק של נקודות במרחב והשוואה למודלים אחרים.
איפה זה נופל
העיבוד מוגבל לפי ההגדרות לחלק מסוים מהווידאו ולא מפיק מודל תלת ממדי מלא של כל הסצנה כקובץ רציף אחד, אלא שישה פריימים בודדים לתצוגה יחד עם סרטון עומק. מודלי דיפוזיה של וידאו נוטים לייצר עיוותים גאומטריים בתנועות מצלמה חדות או באזורים חשוכים. אם אתם בונים על דיוק הנדסי מושלם לסריקות מציאות, צריך לבדוק היטב את קובץ הנתונים שיוצא ולא להסתמך רק על התצוגה המקדימה.
שאלות
נפוצות
האם השימוש באפליקציה כרוך בתשלום?
הגישה ליישום דרך הדפדפן היא חינמית. אין צורך לשלם על זמן המעבד הגרפי שמסופק בעמוד, אך המשאבים משותפים וזמינות השרת תלויה בעומס הכללי.
כמה זמן לוקח לעבד סרטון?
היישום נמצא כרגע במצב שינה ולכן הפעלה ראשונה דורשת התעוררות של השרת. עיבוד בפועל של כמה עשרות פריימים על חומרת A10G נמשך בדרך כלל בין חצי דקה למספר דקות, בהתאם לרזולוציה ולשלבי הניקוי.
מה קורה עם קובצי הווידאו שמעלים?
הסרטונים נשלחים לשרת שבו רץ הקוד לצורך פעולת החישוב בלבד. הממשק שומר קבצים זמניים לצורך הצגת התוצאות והורדת קובץ הנתונים, אך לא מדווח על מאגר ציבורי ששומר את החומרים שלכם.
האם אפשר להריץ את הכלי על מחשב מקומי?
הקוד בנוי על ספריות סטנדרטיות ומשתמש במודלים מוכרים מהרשת, כך שניתן טכנית להתקין אותו עצמאית. עם זאת, הרצה חלקה דורשת כרטיס מסך חזק עם מספיק זיכרון כדי להחזיק את שלושת המודלים בו זמנית.
איך משתמשים
טוענים וידאו או בוחרים באחת הדוגמאות, ואם רוצים נכנסים להגדרות המתקדמות כדי לקבוע את מספר הפריימים, הרזולוציה המרבית, שלבי הניקוי מרעש וגודל חלון הריצה. לחיצה על כפתור הייצור מתחילה את התהליך. היישום רץ על מעבד גרפי מדגם A10G דרך תשתית ZeroGPU, אך כרגע הוא במצב שינה, כך שהפעלתו הראשונה דורשת המתנה של דקה או שתיים עד שהשרת יתעורר ויעבד את הסרטון.
הרישיון
הרישיון מוגדר כאחר ולא כרישיון קוד פתוח סטנדרטי. המשמעות היא שאין היתר גורף לשימוש מסחרי בתוצאות, ויש לבדוק את תנאי השימוש של יוצרי המודל ושל רכיבי הצד השלישי לפני שימוש שאינו מחקרי.