MIDI-3D — הדגמה

מה זה

מעלים תמונה לממשק ומסמנים עליה תיבות סביב האובייקטים שרוצים לחלץ. בתמורה מקבלים סצנה תלת ממדית אינטראקטיבית לצפייה ישירה בדפדפן, עם אפשרות להוריד קובץ GLB מוכן לשימוש.

מאחורי הקלעים רץ שילוב של כמה מודלים. החיתוך הראשוני של האובייקטים נשען על Grounding DINO יחד עם SAM של מטא, שמזהים ומפרידים את המסכות לפי התיבות שסימנתם. את השחזור התלת ממדי מנהל הצינור של MIDI-3D, שמייצר את המבנה המרחבי לכל אובייקט בנפרד ומחבר אותם לסצנה אחת.

מתאים ל

• יצירת קובצי GLB מתמונה

  ממירים תמונת קונספט לסצנת תלת ממד להורדה בקובץ GLB לתוכנות גרפיות.

• פירוק סצנה לאובייקטים

  מבודדים רכיבים שונים מתוך תמונה יחידה בעזרת סימון תיבות ומסכות של SAM.

• בדיקת איכות למודל MIDI

  בוחנים את היכולות של מודל MIDI-3D על חומרים שלכם בלי להתקין סביבת פיתוח.

איפה זה נופל

התהליך לא אוטומטי לגמרי. אם לא תסמנו ידנית תיבות תוחמות על התמונה לפני ההרצה, תקבלו שגיאה והמערכת לא תתחיל לעבוד. בנוסף, חלוקת האובייקטים תלויה לחלוטין באיכות הזיהוי של SAM, כך שאם הסימון שלכם לא מדויק או שהתמונה עמוסה מדי, המודל התלת ממדי ייצר צורות מרוחות או מחוברות בצורה עקומה.

איך מריצים

אתם מעלים תמונה, מסמנים מלבנים סביב החלקים הרלוונטיים ולוחצים קודם על כפתור הסגמנטציה. אחרי שרואים את המסכות, לוחצים על כפתור הייצור של התלת ממד. אפשר לשלוט בהגדרות מתקדמות כמו ריפוד התמונה, סיד, מספר צעדי ההסקה ועוצמת ההנחיה.

העיבוד רץ על מאיץ A10G בתצורת שיתוף משאבים דרך ספריית spaces. זה אומר שלא צריך לשלם או להירשם, אבל בזמני עומס יכולים להיווצר תורים עד שהמעבד הגרפי מתפנה לעיבוד שלכם.

pip install -U huggingface_hub
hf download VAST-AI/MIDI-3D

הקבצים

14 קבצים במאגר, 4.7 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• transformer/diffusion_pytorch_model.safetensors3.4 GB
• image_encoder_2/model.safetensors610.4 MB
• image_encoder_1/model.safetensors608.0 MB
• vae/diffusion_pytorch_model.safetensors485.4 MB
• .gitattributes1.5 KB
• image_encoder_2/config.json1.1 KB
• model_index.json663 B
• image_encoder_1/config.json522 B
• feature_extractor_1/preprocessor_config.json466 B
• README.md462 B
• feature_extractor_2/preprocessor_config.json436 B
• vae/config.json335 B
• transformer/config.json222 B
• scheduler/scheduler_config.json158 B

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של הקוד. עם זאת, התמונות שאתם מעלים והמודלים שנוצרים מועברים דרך השרתים שמארחים את הממשק, כך שלא כדאי להעלות לשם חומרים רגישים או סודיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗