control_v11p_sd15_inpaint

מה זה

מדובר ברשת בקרה שמתלבשת על מודל בסיס של סטייבל דיפיוז'ן 1.5, ומוסיפה לו יכולת השלמת אזורים חסרים לפי מסיכה ותיאור טקסטואלי באנגלית. המשקל של הקבצים עומד על 4.0 ג'יגה בייט וגודל הרשת הוא 361 מיליון פרמטרים, שזה הגודל הסטנדרטי למתאמי קונטרולנט מהסדרה הזו.

בניגוד לשאר דגמי הסדרה שדורשים עיבוד מקדים כמו זיהוי קצוות, עומק או נקודות שלד אנושי, כאן תמונת התנאי היא פשוט התמונה והמסיכה עצמה. הקובץ המקורי הומר ישירות למבנה של ספריית דיפיוזרס, כך שאפשר לטעון אותו בקלות בקוד קיים בלי התאמות מיוחדות.

מתאים ל

• החלפת אובייקט לפי מסיכה

  צביעה מחדש של אלמנטים בתמונה קיימת בעזרת הנחיית טקסט מדויקת.

• שחזור תמונות פגומות

  השלמה ושיקום של חלקים חסרים בתמונות על גבי תשתית סטייבל דיפיוז'ן.

• עריכת רקע מקומית

  שינוי הרקע סביב דמות בלי לגעת באזורים שלא סומנו במסיכה.

איפה זה נופל

הרשת אומנה באופן ספציפי על גרסה 1.5 של סטייבל דיפיוז'ן, ולכן הדיוק שלה מוגבל ליכולות של אותו מודל ישן יחסית. מודלים שהותאמו באופן מיוחד כמו דרימבוט עשויים לעבוד איתה רק באופן ניסיוני, כך שאין הבטחה לאיכות אחידה בלי בדיקה ידנית של התוצאות מראש.

איך מריצים

כדי להריץ אותו צריך להתקין את הספריות של דיפיוזרס, טרנספורמרס ואקסלרייט. הרשת עובדת יחד עם מודל סטייבל דיפיוז'ן 1.5, ולכן הזיכרון בכרטיס המסך צריך להספיק לטעינה של שניהם יחד. זה דורש מעבד גרפי מקומי עם מספיק זיכרון וידאו, או שרת ענן ייעודי.

אם אתם צריכים רק תיקון תמונות מזדמן ולא בונים שירות שלם, פנייה לנקודת קצה מנוהלת תחסוך את עלויות החומרה וההחזקה של השרת באוויר.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("lllyasviel/control_v11p_sd15_inpaint")
img = pipe("a photo").images[0]

הקבצים

12 קבצים במאגר, 4.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• diffusion_pytorch_model.bin1.4 GB
• diffusion_pytorch_model.safetensors1.4 GB
• diffusion_pytorch_model.fp16.bin722.7 MB
• diffusion_pytorch_model.fp16.safetensors722.6 MB
• images/output.png411.6 KB
• images/original.png333.5 KB
• sd.png59.5 KB
• README.md15.9 KB
• images/mask.png3.1 KB
• control_net_inpaint.py1.8 KB
• .gitattributes1.5 KB
• config.json998 B

הרישיון

הרישיון הוא אופן רייל מסחרי של מודלי דיפיוז'ן, מה שאומר שמותר להשתמש בו במוצרים מסחריים. עם זאת, הוא מחייב להצמיד את תנאי הרישיון לכל הפצה וכולל הגבלות שימוש ספציפיות על תחומים מזיקים או אסורים שמוגדרים במסמך המקורי.

• שימוש מסחרי
• שינוי הקוד
• מגבלות שימוש ברישיון

הרישיון המלא בעמוד המודל ↗