4danyone-multiview-demo
רץ בדפדפןhugging-appsapache-2.02026-08-21
הכלי מייצר סט סרטונים מסונכרן מכמה זוויות מצלמה על בסיס סרטון וידאו בודד של אדם. הוא מיועד למי שצריך חומר גלם לשחזור תלת ממדי מסוג גאוסיאן ספלאטינג.
- —הורדות בחודש
- 42לייקים
מה זה
אתם מעלים סרטון וידאו אנכי ביחס של תשע על שש עשרה, באורך של לפחות מאה עשרים ואחד פריימים, שמציג אדם בודד מול מצלמה סטטית. המערכת מחזירה סרטוני וידאו מזוויות חדשות, קובץ נתוני מצלמות בפורמט גייסון, ואת שלדי התנועה ששוחזרו. הממשק כולל דוגמאות מוכנות מתוך פקסלס של אנשים בפעולה כדי לראות את התוצאה לפני שמעלים קובץ עצמאי.
מאחורי הקלעים רצה שרשרת מורכבת שמתחילה בחילוץ שלד תנועה תלת ממדי באמצעות מודל מבוסס טרנספורמר, המשך בבידוד הדמות מהרקע, ורינדור שלד וירטואלי סביב האובייקט. השלב הסופי מבוסס על מודל דיפוזיה מסוג דיט שנגזר מוואן שתיים נקודה שתיים, אשר מחולל את כל הזוויות במקביל ברזולוציה של אלף מאתיים ושמונים על שבע מאות וארבע, תוך שמירה על עקביות זמנית בין המצלמות.
מתאים ל
- הכנת קלט לספלאטינג
חילוץ זוויות מצלמה מסונכרנות עם קובץ כיול עבור שחזור ארבעה ממדים.
- החלפת זווית צילום
יצירת מבט צד או זווית מוגבהת מתוך צילום פורטרט חזיתי בודד.
- שחזור תנועת גוף
חילוץ שלד תנועה תלת ממדי מבוסס רשת גוף מתוך וידאו קיים.
איפה זה נופל
ההדגמה מוגבלת לעד שש זוויות מצלמה בלבד, כך שמנגנון ההרחבה שקיים במחקר המקורי כלל אינו פעיל כאן. בנוסף, הטקסט שמנחה את המודל קבוע מראש בקוד ולא ניתן לשינוי, כך שאי אפשר להכווין סגנון או פרטים במילים שלכם. כל חריגה מסרטון יציב של אדם יחיד, כמו רקע מורכב או מצלמה שזזה, תשבור את שחזור התנועה ותוביל לעיוותים כבדים.
שאלות
נפוצות
האם אפשר להשתמש בהדגמה בחינם?
הגישה לעמוד עצמו חופשית, אבל הפקת זוויות דורשת זיכרון גרפי עצום של מעל חמישים גיגה בייט. בפועל, הרצת התהליך מעבר לבדיקה בסיסית של זווית בודדת תדרוש מכסת חומרה של מנוי פרו. ללא מנוי מתאים, ההרצה עלולה להיעצר באמצע עקב חריגה ממגבלות הזמן והחומרה החינמיות.
כמה זמן לוקח לקבל תוצאה?
ההפקה אינה מיידית ודורשת סבלנות. יצירה של ארבע זוויות צילום נמשכת כמעט עשר דקות שלמות על גבי החומרה הייעודית. בחירה במספר זוויות נמוך יותר תקצר את הזמן, אך מדובר בעיבוד של מאה עשרים ואחד פריימים כך שזה תמיד ייקח מספר דקות.
במה שונה ההדגמה מהקוד המקורי של המחקר?
כאן הוחלף מודל הטקסט הכבד בייצוג וקטורי קבוע מראש, כך שאי אפשר להזין פרומפט חופשי. בנוסף, כל שלבי חישוב התנועה רצים בתוך אותו תהליך כדי להתאים לעבודה בענן במקום בתהליכים נפרדים. ההדגמה גם עוצרת בשש זוויות ולא מפעילה את מנגנון ההרחבה שקיים במאגר המקורי.
האם אפשר להריץ את זה מקומית על המחשב?
זה אפשרי טכנית דרך מאגר הגיטהאב של הפרויקט, אך דורש מחשב חזק במיוחד. צריכת הזיכרון הגרפי מגיעה לשיא של חמישים ושלושה גיגה בייט, כך שכרטיס מסך ביתי רגיל לא יספיק. תצטרכו חומרת שרתים מתקדמת או כרטיסים מקצועיים כדי להשלים את הריצה.
איך משתמשים
בוחרים סרטון, מגדירים כמות זוויות של אחת, שתיים, ארבע או שש, וקובעים במידת הצורך זווית הטיה, זווית התחלה או סיד. לחיצה על כפתור ההפקה מפעילה עיבוד כבד מאוד. יצירה של ארבע זוויות דורשת כמעט עשר דקות של זמן מעבד גרפי ומגיעה לשיא של חמישים ושלושה גיגה בייט זיכרון וידאו. כדי שהרצה כזו לא תיעצר באמצע בגלל מגבלות משאבים, חייבים חשבון עם מכסת פרו פעילה.
הרישיון
קוד הכלי מפורסם ברישיון אפאצ'י שתיים אפס, אך רכיבי תנועה וזיהוי פנימיים כפופים לרישיונות מחקריים בלבד כמו אס אמ פי אל אקס או רישיון איי ג'י פי אל של יולו. אי אפשר להשתמש בתוצרים לצרכים מסחריים בלי להסדיר זכויות נפרדות על החלקים האלה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים