MimicBrush

מה זה

אתם מעלים שתי תמונות לממשק, תמונת מקור ותמונת ייחוס. בעזרת מברשת מובנית מסמנים מסכה על גבי האזור שרוצים לשנות בתמונת המקור, ולוחצים על כפתור ההרצה כדי שהאלמנט או הטקסטורה מהייחוס ישתלבו באזור שבחרתם.

מתחת למכסה המנוע רץ צינור עיבוד המבוסס על MimicBrush יחד עם רכיבי Stable Diffusion של RunwayML ו־CompVis, מודל CLIP של OpenAI לקידוד חזותי, ורכיבי Depth Anything שמוסיפים הנחיית עומק תלת ממדית. המערך כולל שכבת ReferenceNet ייעודית ששואבת את המידע החזותי מתמונת המקור ומזריקה אותו ישירות לתהליך הציור מחדש.

בהגדרות המתקדמות אפשר לקבוע את מספר צעדי הדיגום בין 1 ל־100, לכוון את עוצמת ההנחיה, לבחור סיד ספציפי ולסמן תיבה לשמירה על הצורה המקורית אם המטרה היא רק העברת מרקם.

מתאים ל

• העברת מרקמים

  העתקת טקסטורה של בד, עור או חומר מתמונת ייחוס ישירות לתוך פריט לבוש בתמונה המקורית.

• שתילת חפצים

  השתלת אובייקט מתמונה אחת לתוך אזור מסומן בתמונה אחרת תוך התאמה לתאורה ולעומק.

• עריכה חזותית ממוקדת

  שינוי מקומי של פרטים בתמונה ללא צורך בניסוח פרומפטים מורכבים באנגלית.

איפה זה נופל

הפעולה מחייבת סימון מסכה ידני מדויק על גבי תמונת המקור, ובלי מסכה הקוד פשוט זורק שגיאה ועוצר. מאחר שהתהליך נשען על מודלים ממשפחת SD 1.5, רמת הפירוט מוגבלת ביחס למודלים חדישים יותר, והתאמת הפרספקטיבה בין תמונת הייחוס לרקע לא תמיד עובדת באופן מושלם.

איך משתמשים

השימוש מתבצע ישירות דרך הדפדפן בלי צורך בחשבון או בהתחברות. אתם מעלים את הקבצים, מציירים את המסכה ולוחצים על Run, כאשר ברירת המחדל עומדת על 50 צעדים. העיבוד מתבצע על גבי מעבד גרפי מדגם A10G שמוקצה לפי דרישה, מה שמספק זמני תגובה סבירים, אך עומס משתמשים עלול לגרום להמתנה בתור.

הרישיון

הקוד מופץ תחת רישיון Apache 2.0, שמתיר שימוש חופשי ושינויים בקוד המקור. לגבי התמונות שאתם מעלים ומייצרים, הרישיון לא מגביל את השימוש בהן, אך כדאי לזכור שהעיבוד נעשה על שרת שיתופי פומבי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗