TripoSG

מה זה

הארכיטקטורה כאן מחברת שנאי מבוסס Rectified Flow עם מקודד VAE שמייצג גאומטריה דרך SDF ופיקוח היברידי. בפועל, הוא מקבל תמונה יחידה, מחלץ ממנה מאפיינים דרך מנגנון קשב צולב, ומייצר מודל תלת ממדי מתוך מרחב לטנטי של 2048 טוקנים.

בגודל של כמעט 1.44 מיליארד פרמטרים, הוא מתרכז ביציבות הגאומטרית של הצורות שהוא מוציא. במקום ניחושים כבדים שמרוחים על עשרות מיליארדי פרמטרים, הגישה של מסלולים ליניאריים מנסה לייצר רשתות נקיות יותר ישירות מתמונת המקור, כשהמשקל הכולל של הקבצים עומד על 7.4 גיגה בייט בלבד.

מתאים ל

• בניית נכסים לפיתוח משחקים

  מייצר מודל בסיסי מתמונת קונספט ראשונית ומקצר את הזמן של מידול ידני מאפס.

• אב טיפוס מהיר לעיצוב מוצר

  הופך שרטוט או תמונת מוצר דו ממדית להמחשה תלת ממדית ראשונית לבדיקה מהירה.

• יצירת אלמנטים לוויזואליה

  מאפשר להפיק עצמים לסצנות רקע וסרטוני הדמיה ישירות מאיורים ללא תוכנות מידול כבדות.

איפה זה נופל

הקלט מבוסס על תמונה בודדת, ולכן כל מה שמוסתר מהמצלמה נשען על השערות של המודל, מה שמוביל לעיוותים בצדדים האחוריים של האובייקט. בנוסף, הכרטיס מציין רק מעבד גרפי עם מעל 8 גיגה בייט זיכרון כדרישת סף, אבל לא מפרט נתוני מהירות הפקה, זמני עיבוד, רזולוציית הרשת הסופית או כיצד המודל מתמודד עם טקסטורות מורכבות.

איך מריצים

כדי להריץ אותו מקומית תצטרכו כרטיס מסך של אנבידיה שתומך ב־CUDA עם לפחות 8 גיגה בייט של זיכרון גרפי. זה אומר שרוב כרטיסי הביניים המודרניים בשוק יספיקו, והוא נתמך ישירות דרך ספריית diffusers המוכרת בפייתון.

אם אתם מתכננים להרים שירות שמייצר מאות מודלים בשעה או שאין לכם חומרה ייעודית, ניהול תורים של מודל כזה עלול לחנוק שרתים קטנים. במצב כזה, עדיף לבדוק קודם אם יש חלופות ענן או שירותים מנוהלים לפני שמשקיעים בתחזוקת שרתי GPU משלכם.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("VAST-AI/TripoSG")
img = pipe("a photo").images[0]

הקבצים

11 קבצים במאגר, 7.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors5.8 GB
• image_encoder_dinov2/model.safetensors1.2 GB
• vae/diffusion_pytorch_model.safetensors970.7 MB
• .gitattributes1.6 KB
• README.md1.5 KB
• image_encoder_dinov2/config.json1.1 KB
• model_index.json525 B
• feature_extractor_dinov2/preprocessor_config.json436 B
• vae/config.json335 B
• transformer/config.json191 B
• scheduler/scheduler_config.json158 B

הרישיון

רישיון MIT מלא. אתם רשאים להריץ, לשנות, להטמיע במוצרים מסחריים ולהפיץ את הקוד והמשקלים בחופשיות, בלי לשלם תמלוגים. התנאי היחיד הוא שמירה על הודעת זכויות היוצרים של המפתחים המקוריים בקוד שלכם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗