Step1X-3D — הדגמה

מה זה

אתם מעלים תמונה בפורמט רגיל או בוחרים מתוך שמונה תמונות דוגמה שמגיעות בממשק, כמו קובצי png ממוספרים. התהליך מחולק לשניים: קודם מייצרים את מבנה הגאומטריה של הרשת, ורק אחרי שהוא מוכן מפעילים שלב נפרד שמייצר ומלביש את הטקסטורה על המודל.

מאחורי הקלעים רץ שילוב של שני פייפליינים ייעודיים, Step1X3DGeometryPipeline למבנה ו־Step1X3DTexturePipeline לטקסטורה. המערך הזה נשען על שורה ארוכה של מודלים תומכים לעיבוד התמונה והתכונות, כולל גרסאות שונות של dinov2, מודלי t5, רכיב clip ו־sdxl vae לסגירת הטקסטורה. בסיום מקבלים תצוגה תלת ממדית אינטראקטיבית שמאפשרת לבחון את המבנה הנקי או את התוצאה המצופה.

מתאים ל

• יצירת מודל מתמונה

  מעלים תמונה דו ממדית ומפיקים ממנה רשת תלת ממדית עם טקסטורה מלאה.

• בניית גאומטריה בלבד

  מייצרים רק את מבנה הפאות התלת ממדי ללא צבעים לבדיקת רשת נקייה.

• התאמת רמת פירוט

  מגבילים מראש את כמות הפאות עד 400000 כדי לשלוט במורכבות המודל.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה כרגע במצב מושהה ולא זמינה לשימוש חי. בנוסף, ההפרדה בין יצירת הגאומטריה ליצירת הטקסטורה דורשת שני צעדים ידניים נפרדים, ואם הגאומטריה יוצאת מעוותת הטקסטורה לא תציל אותה. תמונות הדוגמה לא נשמרות מראש במטמון, כך שאין דרך לראות תוצאות מוכנות בלי להריץ את העיבוד המלא בעצמכם.

איך מריצים

טוענים תמונה, מכוונים פרמטרים כמו מספר צעדי ריצה, מקסימום פאות שמוגדר כברירת מחדל על 400000, סימטריה וקצוות, ולוחצים על הכפתור הראשון ליצירת הגאומטריה. רק כשהמבנה מסתיים מופיע כפתור שני שמייצר את הטקסטורה. השרת מוגדר על חומרת zero-a10g, אבל כרגע האפליקציה במצב מושהה ולכן לא ניתן להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש.

pip install -U huggingface_hub
hf download stepfun-ai/Step1X-3D

הקבצים

27 קבצים במאגר, 18.3 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• Step1X-3D-Geometry-1300m/transformer/diffusion_pytorch_model.safetensors5.3 GB
• Step1X-3D-Geometry-Label-1300m/transformer/diffusion_pytorch_model.safetensors5.1 GB
• Step1X-3D-Texture/step1x-3d-ig2v.safetensors3.6 GB
• Step1X-3D-Geometry-Label-1300m/visual_encoder/diffusion_pytorch_model.safetensors2.9 GB
• Step1X-3D-Geometry-1300m/visual_encoder/diffusion_pytorch_model.safetensors1.2 GB
• Step1X-3D-Geometry-1300m/vae/diffusion_pytorch_model.safetensors766.4 MB
• Step1X-3D-Geometry-Label-1300m/vae/diffusion_pytorch_model.safetensors766.4 MB
• assets/step1x-3d-teaser.png7.4 MB
• assets/step1x-3d-framework-overall.jpg192.0 KB
• assets/stepfun_illusions_logo.jpeg148.1 KB
• Step1X-3D-Geometry-Label-1300m/label_encoder/diffusion_pytorch_model.safetensors33.1 KB
• assets/logo.png6.9 KB
• README.md5.2 KB
• .gitattributes1.6 KB
• Step1X-3D-Geometry-1300m/vae/config.json770 B
• Step1X-3D-Geometry-Label-1300m/vae/config.json749 B
• Step1X-3D-Geometry-Label-1300m/model_index.json746 B
• Step1X-3D-Geometry-1300m/model_index.json670 B
• Step1X-3D-Geometry-Label-1300m/visual_encoder/config.json504 B
• Step1X-3D-Geometry-1300m/visual_eature_extractor/preprocessor_config.json465 B
• Step1X-3D-Geometry-Label-1300m/visual_eature_extractor/preprocessor_config.json465 B
• Step1X-3D-Geometry-1300m/transformer/config.json457 B
• Step1X-3D-Geometry-Label-1300m/transformer/config.json434 B
• Step1X-3D-Geometry-1300m/scheduler/scheduler_config.json414 B
• Step1X-3D-Geometry-Label-1300m/scheduler/scheduler_config.json414 B
• Step1X-3D-Geometry-1300m/visual_encoder/config.json411 B
• Step1X-3D-Geometry-Label-1300m/label_encoder/config.json121 B

הרישיון

הקוד מופץ תחת רישיון apache-2.0 שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי קוד. הרישיון לא מפרט תנאים מיוחדים לגבי זכויות הקבצים שאתם מעלים או התוצרים שמופקים מהם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗