HY-World-2.0-Demo

מה זה

אתם מעלים קובצי תמונות, בוחרים מרווחי זמן או פריימים מתוך גלריה, ומפעילים שחזור. הממשק מציג את התוצאות בכמה לשוניות נפרדות: תצוגת תלת ממד אינטראקטיבית באמצעות Rerun Viewer, ייצוג של ענני נקודות מסוג Gaussian Splats, וכן גלריות שמציגות מפות עומק ומפות נורמלים לכל פריים.

מאחורי הקלעים הקוד מוריד ומריץ את המודל tencent/HY-World-2.0, שמשמש כמודל עולם מולטי-מודאלי לשחזור תלת ממדי. לצדו מופעל המודל JianyuanWang/skyseg, שמבצע חיתוך של שמיים כדי לאפשר סינון רקע פתוח מתוך השחזור הסופי. אפשר להוריד את התוצרים כקובצי GLB של רשת משולשים או כקובצי PLY של גאוסיאנים.

מתאים ל

• הפקת מודל תלת ממד

  יצירת קובצי GLB ו־PLY מתמונות סטילס לשימוש בתוכנות גרפיקה.

• חילוץ מפות עומק

  קבלת מפות Depth ונורמלים מיושרות לפי פריימים לעיבוד נוסף.

• ניתוח מרחבי עם Gaussian Splats

  בדיקה ויזואלית של ענני נקודות וזוויות צילום במציג Rerun.

איפה זה נופל

אם תנסו להפעיל את הכפתור בלי להעלות קבצים תקינים, תקבלו שגיאה ישירה בממשק. בנוסף, חומרת שרת שיתופית עלולה להיכנס להשהיות או להיכשל אם מעלים כמות חריגה של תמונות ברזולוציה גבוהה. ההדגמה מתמקדת בהצגת פלט ויזואלי ומפות תלת ממד, אך אינה כוללת כלי עריכה ידניים לרשת המשולשים שנוצרת.

איך משתמשים

גוררים את התמונות לתיבת ההעלאה, מגדירים תיבות סימון כמו סינון שמיים או הסרת אזורים בעלי ודאות נמוכה, ולוחצים על Reconstruct 3D Scene. ההרצה רצה על חומרת zero-a10g של Hugging Face, מה שאומר שהמעבד הגרפי מוקצה לפי דרישה ועשוי לדרוש זמן התנעה אם המופע היה במצב שינה. הממשק כולל מד התקדמות מובנה, ומחיקת קובצי מטמון מתבצעת אוטומטית לפי הגדרות המערכת.

הרישיון

הקוד וההדגמה מפורסמים תחת רישיון apache-2.0, שמתיר שימוש מסחרי, שינוי והפצה תחת תנאי הרישיון. הקבצים שאתם מעלים נשמרים זמנית בזיכרון המופע, ונמחקים לפי מנגנון ניקוי מטמון מוגדר בקוד של עשר דקות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗