IDM-VTON — הדגמה

מה זה

מעלים תמונה של אדם ותמונה של פריט לבוש, ומוסיפים תיאור טקסטואלי קצר של הבגד, כמו חולצה קצרה עם צווארון עגול. המערכת מייצרת תמונה חדשה של אותו אדם כשהבגד מולבש עליו, לצד תצוגה של המסכה שנוצרה על אזור הגוף.

מאחורי הקלעים רץ שילוב של מודל הבסיס Stable Diffusion XL עם רכיבי IDM-VTON, לצד כלים כמו OpenPose ו־DensePose לזיהוי תנוחת הגוף, ומודל ייעודי לחיתוך חלקי גוף ובגדים. הממשק כולל דוגמאות מוכנות מראש של אנשים ובגדים, שמראות כיצד המודל מתמודד עם תמונות שונות.

מתאים ל

• הדמיית בגדים על אנשים

  הלבשת פריט לבוש מתמונה אחת על גוף של אדם מתמונה אחרת לצורך תצוגה מהירה.

• בדיקת מודלים מתקדמים

  התנסות ביכולות של שילוב מודלי דיפוזיה עם DensePose ו־OpenPose בתחום ההלבשה הווירטואלית.

• עריכת תמונות מונחית מסכה

  שילוב בגדים חדשים בתמונות קיימות באמצעות שרטוט ידני של אזור ההחלפה.

איפה זה נופל

ההדגמה מתבססת על זיהוי אוטומטי של תנוחה וחלקי גוף, כך שתנוחות מורכבות או תאורה חלשה עלולות לשבש את חיתוך הבגד. אם המסכה האוטומטית מפספסת, צריך לצייר אותה ידנית בעורך התמונות, מה שדורש יותר דיוק. המודל מייצר תמונת דו-ממד בלבד ואינו בודק מידות אמיתיות של הבגד מול מידות הגוף.

איך מריצים

טוענים את שתי התמונות, בוחרים אם לסמן את אזור ההלבשה ידנית בעט או להשאיר את יצירת המסכה האוטומטית פעילה, ולוחצים על כפתור ההרצה. אפשר גם להפעיל חיתוך ושינוי גודל אוטומטי, ולכוונן צעדי ניקוי רעש בין עשרים לארבעים או לשנות את ערך הסיד בהגדרות המתקדמות. ההדגמה פועלת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שעלול להוביל לזמן המתנה בתור כשיש עומס.

pip install -U huggingface_hub
hf download yisol/IDM-VTON

הקבצים

30 קבצים במאגר, 27.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• unet/diffusion_pytorch_model.bin12.0 GB
• unet_encoder/diffusion_pytorch_model.safetensors10.3 GB
• text_encoder_2/model.safetensors2.8 GB
• image_encoder/model.safetensors2.5 GB
• text_encoder/model.safetensors492.3 MB
• vae/diffusion_pytorch_model.safetensors334.6 MB
• humanparsing/parsing_lip.onnx266.9 MB
• humanparsing/parsing_atr.onnx266.9 MB
• densepose/model_final_162be9.pkl255.8 MB
• openpose/ckpts/body_pose_model.pth209.3 MB
• assets/teaser2.png9.0 MB
• assets/teaser.png7.1 MB
• tokenizer/vocab.json1.1 MB
• tokenizer_2/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• tokenizer_2/merges.txt524.6 KB
• unet/config.json1.9 KB
• unet_encoder/config.json1.6 KB
• .gitattributes1.6 KB
• README.md1.6 KB
• text_encoder_2/config.json758 B
• model_index.json750 B
• text_encoder/config.json746 B
• tokenizer/tokenizer_config.json737 B
• tokenizer_2/tokenizer_config.json725 B
• vae/config.json659 B
• image_encoder/config.json560 B
• scheduler/scheduler_config.json504 B
• tokenizer/special_tokens_map.json472 B
• tokenizer_2/special_tokens_map.json460 B

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-sa-4.0. המשמעות היא שהשימוש מוגבל למטרות לא מסחריות בלבד, וכל נגזרת שלו חייבת להיות מופצת תחת תנאים זהים.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא בעמוד המודל ↗