BrushNet

מה זה

מעלים תמונה, מסמנים עליה נקודות כדי להגדיר אובייקט בעזרת Segment Anything, או מעלים מסיכה מוכנה בשחור ולבן. לאחר מכן כותבים הנחיית טקסט המתארת מה לשתול באזור הנבחר, ומקבלים תמונה מעובדת שמשלבת את השינוי ברקע המקורי.

מאחורי הממשק רצה ארכיטקטורת BrushNet יחד עם Stable Diffusion v1.5 ומסגרת diffusers. המודל מפצל את תהליך היצירה לשני ענפים נפרדים, מה ששומר על הרקע המקורי ומונע עיוותים באזורים שלא סומנו לעריכה.

דוגמאות המערכת כוללות החלפת עוגה על שולחן, שתילת רכב בנוף פתוח, הוספת צעצוע על משטח, והצגת דמות בבגדים סיניים מסורתיים או אישה ביער חשוך.

מתאים ל

• החלפת אובייקטים בתמונה

  סימון מוצר או פריט קיים בלחיצת עכבר והחלפתו בפריט חדש בעזרת תיאור טקסט חופשי.

• עריכת רקעים

  הפרדת הדמות המרכזית מהרקע ויצירת סביבה חדשה לגמרי מסביבה לפי ההנחיה.

• עבודה עם מסיכות מוכנות

  טעינת מסיכת שחור-לבן חיצונית לביצוע אינפיינטינג מדויק ומבוקר בלי להסתמך על לחיצות אוטומטיות.

איפה זה נופל

ההדגמה הנוכחית שבורה לחלוטין ולא נטענת בגלל שגיאת קומפילציה, כך שאי אפשר לבדוק אותה כרגע ישירות בעמוד. בנוסף, הקוד חוסם תמונות עם יחס גובה-רוחב שגדול מ־2.0, ואינו מאפשר טשטוש שוליים אם עוצמת השליטה נמוכה מ־1.0.

איך משתמשים

לוחצים על התמונה כדי לסמן את החלק שרוצים לשנות, מגדירים אם הבחירה היא רקע או חזית, ומקלידים את ההנחיה. אפשר לכוונן ערכים מתקדמים כמו עוצמת שליטה, סיד, ומספר צעדי עיבוד.

כרגע אי אפשר להריץ את הכלי בדפדפן כי המופע נמצא במצב של שגיאת בנייה. במצב תקין העיבוד אמור לרוץ על מאיץ גרפי בודד מסוג L4 ללא צורך בהרשמה.

הרישיון

הפרויקט מופץ תחת רישיון Apache 2.0. הרישיון מאפשר שימוש חופשי, שינוי הקוד והפצה מסחרית של התוכנה, אך יש לקחת בחשבון את תנאי השימוש של משקלי המודל הבסיסי Stable Diffusion v1.5.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗