shap-e-img2img

מה זה

מדובר במודל דיפוזיה מבית OpenAI שלוקח תמונה דו ממדית סינתטית וממיר אותה לאובייקט תלת ממדי. בניגוד למודלים ישנים שמייצרים ייצוג בודד בלבד כמו ענני נקודות, הוא יוצר פרמטרים של פונקציות מרומזות. המשמעות היא שאפשר לחלץ מהתוצר גם מודל תלת ממדי מרושת וגם שדות קרינה נירוניים (NeRF).

האימון מתבצע בשני שלבים, קידוד נכסי תלת ממד לפונקציה מרומזת, ואימון מודל דיפוזיה מותנה על הפלטים האלה. ביחס לקודמו Point-E, החוקרים מדווחים שהוא מתכנס מהר יותר ומגיע לאיכות שווה או טובה יותר תוך שניות בודדות של דגימה.

מתאים ל

• יצירת נכסי תלת ממד למשחקים

  מאפשר לייצר טיוטות מהירות של אובייקטים ומשטחים מתוך איורים סינתטיים בכמה שניות.

• עיבוד NeRF מתמונות

  מפיק ישירות ייצוגים של שדות קרינה בלי לעבור בצינורות עיבוד ידניים ארוכים.

• פרוטוטייפינג לעיצוב

  מספק הדמיה תלת ממדית ראשונית ומהירה מרעיונות גרפיים שנוצרו במחוללי תמונות.

איפה זה נופל

ההגדרה הרשמית של המודל מציינת שהוא מיועד לתמונות דו ממדיות סינתטיות. אם תזינו לו תמונות מורכבות מהעולם האמיתי, צילומים בתאורה קשה או זוויות לא שגרתיות, התוצאה עלולה להתעוות לחלוטין. מעבר לכך, הכרטיס אינו מפרט את ההטיות והמגבלות הנוספות באופן ישיר ומפנה לקריאה במאמר ובכרטיס המקורי.

איך מריצים

המודל שוקל 5.6 גיגה בייט על פני 16 קבצים, והוא רץ ישירות בספריית diffusers של פייתון על כרטיס גרפי עם תמיכת CUDA. בקוד ההרצה הרשמי מגדירים גודל של 256, 64 צעדי הסקה, ומשתמשים במחלקת ShapEImg2ImgPipeline כדי לקבל את הפלט.

מבחינת משאבים, מומלץ כרטיס עם זיכרון ייעודי סביר כדי לייצר כמה זוויות במקביל. אם אין לכם גישה לכרטיס גרפי מקומי עם זיכרון מתאים, הרצה מקומית על מעבד תהיה אטית להחריד, ובמצב כזה עדיף לשקול שירות ענן או מכונה מרוחקת שמציעה סביבת חישוב גרפית.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("openai/shap-e-img2img")
img = pipe("a photo").images[0]

הקבצים

16 קבצים במאגר, 5.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• prior/diffusion_pytorch_model.bin1.3 GB
• image_encoder/pytorch_model.bin1.2 GB
• shap_e_renderer/diffusion_pytorch_model.bin905.2 MB
• renderer/diffusion_pytorch_model.bin905.2 MB
• prior/diffusion_pytorch_model.fp16.safetensors632.0 MB
• image_encoder/model.fp16.safetensors606.4 MB
• renderer/diffusion_pytorch_model.fp16.safetensors452.6 MB
• README.md4.3 KB
• .gitattributes1.5 KB
• image_encoder/config.json560 B
• shap_e_renderer/config.json551 B
• renderer/config.json496 B
• prior/config.json493 B
• model_index.json465 B
• image_processor/preprocessor_config.json315 B
• scheduler/scheduler_config.json276 B

הרישיון

הרישיון הוא MIT, וזה נותן לכם חופש מלא. אפשר להשתמש בו לצרכים מסחריים, לשנות את הקוד, לכלול אותו במוצר קנייני ולהפיץ אותו הלאה, בלי לשלם תמלוגים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ונוסח הרישיון המקורי בקוד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗