ZeroShape

מה זה

מעלים תמונה של אובייקט בודד, ורואים מודל תלת ממד שנוצר ישירות בדפדפן. מאחורי הקלעים רץ מודל ZeroShape, שלפי הקוד מבצע שחזור צורה מבוסס רגרסיה ברזולוציית ווקסלים של 128, כשהוא נשען על קובץ משקולות ייעודי וספריית trimesh לעיבוד הגאומטריה.

הממשק כולל שתי לשוניות עבודה. הראשונה מיועדת למקרים שבהם יש לכם גם תמונה וגם מסיכת רקע מוכנה מראש. השנייה כוללת מנגנון מובנה שמריץ את כלי rembg כדי לחתוך את האובייקט מהרקע באופן אוטומטי לפני השחזור. הדוגמאות המובנות מכסות עצמים יומיומיים מגוונים, כמו כורסה, דלי, כובע, צעצוע, נמר ועוגת חתונה.

מתאים ל

• חילוץ מודל ראשוני מתמונה

  יצירת קובץ גאומטרי תלת ממדי בסיסי מתוך צילום מוצר בודד על רקע אחיד.

• בדיקת איכות שחזור למחקר

  בחינת יכולות המודל מול מסיכות מוכנות מראש לצורך השוואת ביצועים אקדמית.

• בניית רשת משולשים פשוטה

  יצירת מבנה תלת ממדי מבודד לחפצים יומיומיים כמו כובעים, צעצועים או רהיטים.

איפה זה נופל

הבעיה המיידית היא שכרגע הממשק נמצא במצב שגיאת בנייה ולא עובד כלל בעמוד. מעבר לכך, המודל מוגדר לרזולוציית רשת של 128 בלבד, כך שלא תקבלו רמת פירוט גבוהה לפרטים עדינים.

האלגוריתם מתוכנן לחפץ בודד שמבודד לחלוטין מהרקע שלו. אם תעלו תמונה עם סצנה עמוסה, או שמודל חיתוך הרקע האוטומטי יטעה בגבולות העצם, הגאומטריה שתיווצר תהיה מעוותת לגמרי.

איך משתמשים

נכנסים לממשק ובוחרים לשונית לפי הצורך. אם יש לכם מסיכה מדויקת משתמשים בראשונה, ואם יש רק תמונה עוברים ללשונית השנייה, מעלים את הקובץ ולוחצים על Reconstruct. אין צורך להירשם או להתחבר.

הקוד מוגדר לרוץ על חומרת a10g-small, מה שאמור לספק עיבוד סביר תוך שניות בודדות. עם זאת, נכון לעכשיו סטטוס ההרצה מדווח על שגיאת בנייה, כך שכרגע לא ניתן להריץ את ההדגמה ישירות בדפדפן.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, העתקה, שינוי והפצה, כולל שימוש מסחרי בקוד. לגבי התמונות שאתם מעלים, אין תיעוד לשמירה קבועה שלהן, אך הן מעובדות על השרת המארח של הממשק.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗