shap-e

מה זה

הפיתוח הזה של OpenAI מייצר אובייקטים תלת ממדיים מתיאור טקסטואלי, אבל בניגוד לשיטות קודמות שפלטו רק ענן נקודות, הוא מייצר פרמטרים של פונקציות מרומזות. המשמעות היא שניתן לרנדר את התוצאה גם כרשת מצולעים עם טקסטורות וגם כשדות קרינה עצביים, מה שנותן גמישות רבה בייצוג התוצר הסופי.

האימון נעשה בשני שלבים, קידוד נכסי תלת ממד לפרמטרים מרומזים, ואז הפעלת מודל דיפוזיה מותנה על הפלט הזה. בהשוואה ל־Point-E, תהליך ההתכנסות כאן מהיר בהרבה ואיכות הדגימות שמתקבלת שווה או טובה יותר, למרות שמדובר במרחב פלט מורכב בעל ממדים גבוהים יותר שמייצר נכסים מגוונים ומורכבים בתוך שניות.

מתאים ל

• ייצור מודלים מהיר

  יצירה זריזה של נכסים תלת ממדיים בסיסיים ישירות מתיאור טקסטואלי לצורך הדגמות.

• חילוץ רשתות תלת ממד

  הפקה של פונקציות מרומזות שמאפשרות המרה ישירה לרשתות מצולעים עם טקסטורה.

• מחקר בתלת ממד גנרטיבי

  בדיקת ביצועים של מודלי דיפוזיה שמייצרים ייצוגים מרובים מול פתרונות ישנים.

איפה זה נופל

כרטיס המודל אינו מפרט בעצמו את המגבלות וההטיות ומפנה למאמר המקורי. מהדוגמאות וההגדרות עולה כי הרזולוציה המוגדרת מראש עומדת על 256 בלבד, מה שמייצר נכסים גסים למדי ולא אובייקטים ברמת פירוט שמתאימה להפקות משחקים מקצועיות. אם אתם צריכים גיאומטריה מדויקת, תצטרכו לעשות הרבה עיבוד ידני אחר כך.

איך מריצים

המשקל הכולל של הקבצים עומד על 4.6 גיגה בייט, כך שאפשר להוריד ולהריץ אותו מקומית דרך ספריית diffusers עם PyTorch ישירות על גבי כרטיס מסך פשוט יחסית עם תמיכת CUDA. הקוד דורש התקנה של תלויות בסיסיות כמו transformers ו־accelerate, ומאפשר לקבל פלט תוך עשרות בודדות של צעדי דיפוזיה.

מי שרוצה להזין תמונה במקום טקסט יצטרך לפנות לגרסה הנפרדת שנקראת shap-e-img2img. ההרצה המקומית הגיונית למי שמחפש שליטה מלאה בתהליך, אבל במערכות ייצור עם עומס משתנה תצטרכו להביא בחשבון את עלויות החומרה והתחזוקה מול שירותים מנוהלים.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("openai/shap-e")
img = pipe("a photo").images[0]

הקבצים

19 קבצים במאגר, 4.6 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• prior/diffusion_pytorch_model.bin1.3 GB
• shap_e_renderer/diffusion_pytorch_model.bin905.2 MB
• renderer/diffusion_pytorch_model.bin905.2 MB
• prior/diffusion_pytorch_model.fp16.safetensors631.4 MB
• text_encoder/pytorch_model.bin494.7 MB
• renderer/diffusion_pytorch_model.fp16.safetensors452.6 MB
• text_encoder/model.fp16.safetensors247.3 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md3.9 KB
• .gitattributes1.5 KB
• tokenizer/tokenizer_config.json737 B
• text_encoder/config.json626 B
• shap_e_renderer/config.json551 B
• renderer/config.json496 B
• prior/config.json489 B
• tokenizer/special_tokens_map.json472 B
• model_index.json458 B
• scheduler/scheduler_config.json276 B

הרישיון

רישיון MIT פתוח ומתירני לחלוטין. מותר להשתמש בקוד ובמשקלים לצרכים פרטיים או מסחריים, לשנות אותם ולשלב אותם בכל מוצר שתבחרו, בתנאי היחיד שאתם שומרים את הקרדיט והודעת הרישיון המקורית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗