stable-diffusion-inpainting

מה זה

במקום לייצר תמונה מאפס, המודל מקבל תמונה מקורית, מסיכה שמגדירה מה לשנות, והנחיית טקסט. הארכיטקטורה מבוססת על שלד הדיפוזיה של גרסה 1.2 שעבר עוד 595 אלף צעדי אימון רגילים, ואז 440 אלף צעדים ייעודיים לעריכה ברזולוציה של 512 על 512 פיקסלים. כדי לחבר בין הפיקסלים הקיימים לאזור החדש, המפתחים הוסיפו חמישה ערוצי קלט ישירות לרשת, ארבעה לתמונה החתוכה ואחד למסיכה עצמה.

במבחני השוואה מול מודלים קודמים כמו LaMa וגרסאות מוקדמות של Latent Diffusion, הוא השיג ציון FID של 1.00 לעומת 1.50 ומעלה אצל המתחרים. בפועל זה אומר שהאזורים שהוא שותל נראים טבעיים יותר לעין ומשתלבים טוב יותר ברקע, לפחות כשעובדים בסגנון צילומי וברזולוציית המקור שלו.

מתאים ל

• הסרת עצמים מתוך תמונה

  צובעים אובייקט במסיכה והוא משלים את הרקע החסר בצורה נקייה בהתאם לסביבה.

• החלפת פריטים לפי טקסט

  מאפשר לסמן פריט לבוש או רהיט ולהחליף אותו באחר בלי לשנות את שאר הפריים.

• תיקון פגמים בצילום

  שחזור מקטעים פגומים בתמונות ישנות על ידי הגדרת מסיכה מקומית.

איפה זה נופל

הוא לא מיועד לכתיבת טקסט בתוך תמונות, והאותיות יוצאות מרוחות ולא קריאות. פנים ואנשים לעיתים קרובות מתעוותים, וקומפוזיציות מורכבות כמו עצם מסוים מעל עצם אחר נוטות להישבר.

בעיה מהותית נוספת היא השפה. הוא אומן כמעט לגמרי על תיאורים באנגלית מתוך מאגר LAION, ולכן ניסיון לתת הנחיות בעברית יפיק תוצאות רעות. בנוסף, המאגר כולל תוכן למבוגרים וסובל מהטיות מערביות, כך שלפני שילוב במוצר חי חובה לשים מנגנוני סינון ובקרה.

איך מריצים

טוענים אותו ישירות דרך ספריית diffusers בפייתון עם StableDiffusionInpaintPipeline, או מורידים את קובץ המשקולות sd-v1-5-inpainting.ckpt ומריצים בממשק Automatic1111. בקוד מומלץ להשתמש בגרסת fp16 כדי לחסוך זיכרון ולרוץ מהר יותר.

כרטיס מסך ביתי מודרני מריץ אותו מקומית בלי מאמץ מיוחד, בעיקר כי הוא מיועד לרזולוציית 512 על 512. אם אין לכם מעבד גרפי ייעודי או שאתם בונים שירות שצריך לעמוד בעומסים פתאומיים, שווה לשקול פנייה לשרתי ענן או שירותי הרצה מוכנים במקום להחזיק מכונה דולקת כל הזמן.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-inpainting")
img = pipe("a photo").images[0]

הקבצים

27 קבצים במאגר, 14.2 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• sd-v1-5-inpainting.ckpt4.3 GB
• unet/diffusion_pytorch_model.bin3.4 GB
• unet/diffusion_pytorch_model.fp16.bin1.7 GB
• unet/diffusion_pytorch_model.fp16.safetensors1.7 GB
• safety_checker/pytorch_model.bin1.2 GB
• safety_checker/pytorch_model.fp16.bin608.1 MB
• safety_checker/model.fp16.safetensors608.0 MB
• text_encoder/pytorch_model.bin492.3 MB
• vae/diffusion_pytorch_model.bin334.7 MB
• text_encoder/pytorch_model.fp16.bin246.2 MB
• text_encoder/model.fp16.safetensors246.1 MB
• vae/diffusion_pytorch_model.fp16.bin167.4 MB
• vae/diffusion_pytorch_model.fp16.safetensors167.3 MB
• tokenizer/vocab.json1.1 MB
• tokenizer/merges.txt524.6 KB
• README.md15.1 KB
• safety_checker/config.json4.8 KB
• .gitattributes1.8 KB
• tokenizer/tokenizer_config.json806 B
• config.json748 B
• unet/config.json748 B
• text_encoder/config.json617 B
• vae/config.json552 B
• model_index.json548 B
• tokenizer/special_tokens_map.json472 B
• feature_extractor/preprocessor_config.json342 B
• scheduler/scheduler_config.json313 B

הרישיון

הרישיון הוא CreativeML OpenRAIL-M. הוא מאפשר שימוש מסחרי והפצה, אבל מחייב אתכם לכלול את תנאי הרישיון ולהגביל את משתמשי הקצה מפעולות מסוכנות או פוגעניות שמוגדרות במסמך, כמו התחזות, פגיעה באנשים או הפצת תוכן מיני לא חוקי. לא מדובר בקוד פתוח חופשי לחלוטין אלא ברישיון עם תנאי שימוש מוגדרים.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗