InstantMesh
קוד פתוחTencentARCapache-2.02024-04-10
הופך תמונה בודדת למודל תלת-ממדי מלא תוך עשר שניות בלבד. פתרון מהיר במיוחד למי שצריך נכסי תלת-ממד מקוביות טקסטורה ומשטחים בלי לחכות דקות ארוכות לכל קובץ.
- 6.8 GBמשקל הקבצים
- 15,380הורדות בחודש
- 340לייקים
מה זה
הארכיטקטורה מחברת בין מודל דיפיוז'ן שמייצר מספר זוויות ראייה של התמונה, לבין מודל שחזור מהיר מסוג LRM. במקום לעבור תהליך אופטימיזציה מייגע בכל ריצה, הוא רץ קדימה ישירות אל המבנה הסופי. החידוש המרכזי כאן הוא שילוב של חילוץ משטחים רציף, שמאפשר לאמן את המערכת ישירות מול הייצוג של המשתית הגאומטרית ולא רק על ענני נקודות או שדות קרינה.
התוצאה של החיבור הזה היא משטחים שכוללים נתונים של עומק וכיווני משטחים, ולא סתם מעטפת צבעונית שנמרחת. לפי המפתחים, הגישה הזו עוקפת מודלים אחרים של תמונה לתלת-ממד שנשענים על ייצור איטרטיבי אטי, ומספקת גאומטריה נקייה יותר.
מתאים ל
- ייצור נכסים ראשוניים למשחקים
ממיר איורים של חפצים למשתית תלת-ממדית תוך עשר שניות, כדי לבדוק התאמה מהירה בתוך מנוע המשחק.
- אביזרים להדמיית מוצר
בונה גאומטריה בסיסית של פריטים מתמונת קטלוג פשוטה, לשימוש בסצנות רקע שלא דורשות פירוט ידני קפדני.
- אב טיפוס וירטואלי
מאפשר לצוותי פיתוח לקבל הערכת נפח ומבנה פיזי מתמונה יחידה בלי להמתין לממדל מקצועי.
איפה זה נופל
שחזור מתמונה בודדת תמיד סובל מניחושים לגבי הצד הנסתר של העצם. אם התמונה המקורית כוללת אזורים מוצלים, זווית חדה מדי או הסתרות מורכבות, המודל ייצר עיוותים בגאומטריה מאחור. בנוסף, חילוץ המשטח האוטומטי מתעדף מהירות על פני רשת פוליגונים מסודרת, כך שתקבלו מבנה שאינו מוכן לאנימציה בלי עבודת ריטופולוגיה ידנית.
שאלות
נפוצות
כמה זמן לוקח לייצר כל מודל תלת-ממדי?
המודל מתוכנן לעבוד במבנה ישיר ומייצר נכס שלם בתוך עשר שניות. זה קצר משמעותית ממערכות שמבצעות אופטימיזציה שנמשכת דקות ארוכות.
האם אפשר להשתמש בקבצים שיוצאים ישירות בהפקה?
התוצר הוא משתית תלת-ממדית עם טקסטורה, אבל הרשת הגאומטרית מחולצת אוטומטית. לצורך משחקים או סרטים תצטרכו לנקות אותה ולבצע פריסת טקסטורה מסודרת.
איך מריצים
המשקל הכולל של שבעת הקבצים עומד על 6.8 גיגה-בייט, והקוד נשען על ספריית diffusers. מורידים את המשקולות ישירות ממאגר המודל ומריצים את סקריפט השחזור המקומי על כרטיס גרפי מתאים.
אם אין לכם כרטיס עם זיכרון ייעודי שמחזיק מודל כזה יחד עם שלב הדיפיוז'ן, התהליך ייחנק. במקרה שאתם רק רוצים לבדוק התאמה לפרויקט שלכם, הדמו הציבורי שהחוקרים שחררו יחסוך לכם התקנה מקומית מסורבלת.
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained("TencentARC/InstantMesh")
img = pipe("a photo").images[0]הקבצים
7 קבצים במאגר, 6.8 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
רישיון apache-2.0 מאפשר שימוש מסחרי מלא, שינוי של הקוד והפצה חופשית שלו או של תוצריו. התנאי היחיד הוא שמירה על הצהרת זכויות היוצרים והרישיון המקורי, בלי להטיל אחריות משפטית על המפתחים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים