genwarp

מה זה

מעלים קובץ תמונה רגיל ומקבלים תצוגה של זווית חדשה לגמרי של אותה סצנה. מתחת למכסה המנוע רצים כמה מודלים יחד, ובהם המודל של סוני genwarp לצד ZoeDepth להערכת עומק, ורכיבים כמו animatediff, PixArt-alpha ומשפחת Stable Diffusion. הממשק מציג גם את מפת העומק שחושבה וגם את התמונה המעוותת לפי הזווית שנבחרה.

בקוד מוגדר רכיב מצלמה תלת ממדית, Model3DGSCamera, שמאפשר לקבוע את הזווית החדשה, לצד דוגמאות מוכנות מראש שכוללות זוויות קבועות. הדוגמאות ממחישות איך הכלי מחשב עומק מחדש ברקע ומייצר את התמונה הסופית מהעיוות.

מתאים ל

• יצירת זוויות חדשות מתמונה

  הפקת מבט שונה על אובייקט או חלל מתוך תמונה שטוחה אחת.

• בדיקת מפות עומק

  צפייה בהערכת העומק של סצנה לצורך ניתוח גיאומטרי.

• הערכת ביצועי מודל סוני

  בדיקה מהירה של יכולות GenWarp לפני שמורידים את המשקלים.

איפה זה נופל

כרגע הדף מדווח על מצב של שגיאת קונפיגורציה, מה שאומר שההדגמה עלולה לא לעבוד כלל בדפדפן עד שיתקנו אותה. בנוסף, אם התמונה ומפת העומק לא נטענו כראוי, הממשק פשוט זורק שגיאה ולא מייצר כלום. זווית הראייה בדוגמאות מקובעת מראש ולא מאפשרת חופש מלא, והתוצאה תלויה לחלוטין באיכות הערכת העומק של ZoeDepth על התמונה המקורית.

איך משתמשים

גוררים תמונה לשדה הקלט, מזיזים את המצלמה לזווית הרצויה או בוחרים באחת הדוגמאות המוכנות, ולוחצים על Generate a novel view. המערכת מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמספק כוח עיבוד מהיר ברגע שההרצה מתחילה, ללא צורך בהתקנה מקומית או התחברות לחשבון.

הרישיון

הקוד מופץ תחת רישיון MIT, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמה אישית. לגבי התמונות שאתם מעלים, הן מעובדות על גבי השרת שמריץ את הממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗