3DFauna_demo

מה זה

מעלים תמונה של בעל חיים ומקבלים שחזור תלת ממדי מלא. המערכת מציגה שחזור מזווית הצילום המקורית, תצוגה שמסמנת את השלד המשוער, ושני מודלים תלת ממדיים אינטראקטיביים שניתן לסובב, מודל שלם ומודל בסיס, יחד עם קבצים מוכנים להורדה.

מאחורי הקלעים הקוד משתמש ב־SAM כדי לבודד ולמרכז את החיה מהרקע. משם הוא מפעיל מודלים של Unsup3D יחד עם PyTorch3D ו־nvdiffrast כדי לחשב את מבנה הגוף, להעריך את מיקומי העצמות בשיטת skinning, ולהוציא רשת תלת ממדית שלמה כולל טקסטורה.

מתאים ל

• חילוץ רשת בסיס לאנימציה

  יצירת קובץ תלת ממד ראשוני של חיה מתמונה כדי לחסוך פיסול ידני מאפס בתוכנות גרפיקה.

• הערכת שלד ועצמות

  זיהוי מבנה השלד והמפרקים של בעל חיים מתוך תמונה שטוחה למטרות מחקר ומעקב תנועה.

• בדיקת אלגוריתמים תלת ממדיים

  בחינת יכולות של שחזור גיאומטרי והפרדת אובייקטים ללא פיקוח מתוך צילום בודד.

איפה זה נופל

ההדגמה הזאת תקועה במצב שגיאה ולא מאפשרת שחזור בפועל בדפדפן. מעבר לכך, היא מיועדת ספציפית לחיות, כך שצילומים של אנשים, כלי רכב או חפצים דוממים לא יתאימו לאלגוריתם השלד.

שחזור מבוסס תמונה יחידה תמיד סובל מעיוותים בצד הנסתר של הגוף. מודל הבסיס והעצמות נבנים על ניחוש סטטיסטי, ולכן אי אפשר להסתמך עליהם ישירות להפקה מקצועית בלי לעבור על הרשת ולתקן אותה ידנית.

איך משתמשים

בממשק מעלים תמונה בעלת רקע שקוף או אטום, או בוחרים מתוך מאגר הדוגמאות המובנה שמציג כ־30 חיות שונות. בהגדרות המתקדמות אפשר לסמן צ'קבוקס שמפעיל את SAM למרכוז אוטומטי של החיה, ואז לוחצים על כפתור השחזור.

העיבוד רץ על מעבד גרפי מסוג T4 דרך סביבת דוקר, אבל כרגע הדף מדווח על תקלת ריצה ולא מגיב. כשהשרת פעיל אין צורך בהתחברות או תשלום כדי להריץ בדיקה.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שמותר לבחון, להריץ ולשנות את הקוד לצרכים אישיים ומחקריים בלבד, אך חל איסור מוחלט על שימוש מסחרי במודל או בתוצרים שהוא מפיק.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗