ldm3d — הדגמה

מה זה

מקלידים תיאור טקסטואלי רגיל, ובמידת הצורך מוסיפים הנחיה שלילית לקביעת מה לא לכלול בתוצאה. הממשק כולל גם מחוונים לשליטה בעוצמת ההנחיה ובמספר הסיד, לצד תיבת סימון לבחירת סיד אקראי. יש דוגמאות מוכנות מראש שנשמרו במטמון כדי לאפשר בדיקה מהירה של המערכת.

מאחורי הקלעים רץ המודל Intel/ldm3d-pano דרך הצינור StableDiffusionLDM3DPipeline של ספריית diffusers. במקום תמונה שטוחה רגילה, הפלט מייצר במקביל תמונת RGB ותמונת עומק תואמת, והממשק מרכיב אותן יחד לתצוגה אינטראקטיבית באמצעות רכיב Three.js.

מתאים ל

• בדיקת פרומפטים לפנורמה

  בוחנים איך ניסוחי טקסט מתורגמים לסצנה רחבה שמכילה גם מידע גאומטרי ועומק.

• הפקת מפות עומק

  מייצרים צמד של תמונת צבע ומפת עומק תואמת כדי לבחון שילוב במנועי תלת מימד.

• התרשמות ממודל הפנורמה

  בודקים את היכולות של מודל הפנורמה של אינטל מתוך דוגמאות מוכנות מראש.

איפה זה נופל

הבעיה המיידית היא שהחלל פשוט קורס ומציג שגיאה, כך שאי אפשר להשתמש בו ישירות כרגע. מעבר לכך, מודלים של תמונות עומק פנורמיות נוטים לייצר עיוותים גאומטריים באזורים מורכבים. הממשק מיועד להתרשמות ויזואלית בלבד, ולא כולל ייצוא של מודל תלת מימדי מלא לשימוש בתוכנות חיצוניות.

איך מריצים

בוחרים דוגמה מוכנה או מקלידים פרומפט, מכוונים את הערכים ולוחצים על כפתור התמונה החדשה. ההרצה מוגדרת על מעבד גרפי מסוג t4-small, אבל נכון לעכשיו החלל נמצא במצב שגיאת ריצה. כל עוד התקלה לא תוקנה, לא ניתן להריץ בקשות חדשות בדפדפן.

pip install -U huggingface_hub
hf download Intel/ldm3d

הקבצים

24 קבצים במאגר, 10.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin3.4 GB
• unet/diffusion_pytorch_model.safetensors3.4 GB
• safety_checker/pytorch_model.bin1.2 GB
• safety_checker/model.safetensors1.2 GB
• text_encoder/pytorch_model.bin492.3 MB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• vae/diffusion_pytorch_model.safetensors334.7 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• qualitative_results.png262.5 KB
• ldm3d_results.png196.5 KB
• model_overview.png65.2 KB
• README.md6.9 KB
• safety_checker/config.json4.6 KB
• .gitattributes1.5 KB
• tokenizer/tokenizer_config.json806 B
• unet/config.json743 B
• text_encoder/config.json592 B
• vae/config.json551 B
• model_index.json546 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json313 B

הרישיון

הרישיון של החלל לא דווח. ללא הגדרה ברורה של תנאי השימוש, לא כדאי להסתמך על התוצרים לפרויקטים מסחריים או להזין מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗