ViewCrafter
רץ בדפדפןDoubiiuother2024-09-01
הכלי מייצר סרטון שמדמה תנועת מצלמה סביב תמונה בודדת. הוא מתאים ליוצרים וחוקרים שרוצים לבדוק סינתזת זוויות חדשות ישירות מהדפדפן.
- —הורדות בחודש
- 115לייקים
מה זה
אתם מעלים תמונת סטילס, בוחרים כיוון תנועה כמו ימינה, שמאלה, למעלה או זום, ומקבלים סרטון וידאו שמציג את הסצנה מזוויות חדשות. הממשק מציג גם וידאו נפרד שממחיש את מסלול המצלמה במרחב, ומאפשר לשלוט במספר צעדי הדגימה בין 1 ל־50 ובסיד האקראי. קיימות בממשק דוגמאות מובנות של תמונות ומסלולי תנועה להתנסות מהירה.
מאחורי הקלעים הקוד משלב את המודל ViewCrafter_25 עם רשת שחזור התלת ממד DUSt3R, לצד מודלי שפה וראייה ממשפחות T5 ו־CLIP. השילוב הזה מעריך את עומק הסצנה ומכוון מודל דיפוזיה לייצר פריימים עקביים מנקודות מבט שונות, במקום סתם להזיז פיקסלים בדו ממד.
מתאים ל
- הנפשת תמונות סטילס
יצירת סרטוני תנועה קצרים מתמונות נוף או עצמים באמצעות כפתורי כיוון קבועים מראש.
- בדיקת מסלולי מצלמה
הזנת רצפי תנועה מותאמים אישית ובחינת יציבות הרינדור של זוויות חדשות.
- המחשת עומק לסצנות
שילוב שחזור תלת ממד מבוסס DUSt3R לקבלת פרספקטיבה עקבית בתנועות זום ומבט.
איפה זה נופל
הבעיה המרכזית היא שהחלל נמצא כרגע בסטטוס שגיאה, כך שאי אפשר להריץ עליו שום דבר בדפדפן. בנוסף, מודלים מהסוג הזה מתקשים באזורים מוסתרים מאחורי עצמים, ושינויי זווית חדים מדי בתנועה מותאמת אישית נוטים לייצר עיוותים ומריחות בתמונה.
שאלות
נפוצות
האם השימוש בכלי הוא בחינם?
כן, הגישה לממשק בדפדפן פתוחה לגמרי. עם זאת, נכון לעכשיו החלל נמצא בשגיאת ריצה ולא מעבד בקשות.
כמה זמן לוקח לייצר סרטון?
העיבוד מבוסס על חומרת A10G וכולל 50 צעדי דגימה כברירת מחדל, מה שבדרך כלל דורש דקה או שתיים. בפועל, בגלל התקלה הנוכחית בשרת, המערכת לא מתחילה את הריצה.
האם אפשר להריץ את הכלי על המחשב?
כן, הקוד והמשקלים פתוחים להורדה ממאגרי המקור. תצטרכו כרטיס מסך חזק וסביבת פייתון מוגדרת עם התלויות שמופיעות בקוד כדי להריץ את המודלים מקומית.
במה הממשק הזה שונה משימוש ישיר במודל?
הממשק חוסך התעסקות בסקריפטים ומציע כפתורים מוכנים לתנועות מצלמה כמו ימינה, שמאלה וזום. הוא גם מציג לצד הסרטון הדמיה גרפית של מסלול התנועה התלת ממדי שנבחר.
איך משתמשים
טוענים תמונה, לוחצים על אחד מכפתורי הכיוון המוכנים או מגדירים מסלול מותאם אישית, ולוחצים על כפתור הפקת הווידאו. אין צורך בהרשמה מיוחדת. היישום מוגדר לרוץ על מעבד גרפי מדגם A10G, אבל כרגע הוא מסומן במצב של שגיאת ריצה ולכן לא מייצר פלטים בפועל עד שהמפתח יתקן אותו.
הרישיון
הרישיון מוגדר כאחר ולא מספק תנאים חופשיים סטנדרטיים. כדאי להיזהר עם שימוש מסחרי בקבצים שנוצרים או בתמונות שאתם מעלים, ולבדוק את תנאי המאגר המקורי לפני שמשלבים את התוצרים בעבודה מסחרית.