controlnetOverMask

מה זה

אתם מעלים תמונת רקע ובוחרים באחת משתי לשוניות: שרבוט או תנוחת גוף. בלשונית השרבוט אתם מציירים ישירות על התמונה את קווי המתאר של החפץ שתרצו להוסיף, ובחלון התנוחה אתם מגדירים שלד אנושי. בנוסף מקלידים תיאור טקסטואלי של מה שרוצים לראות ותיאור שלילי למה שרוצים לסנן. התוצאה היא גלריה של תמונות שבהן האלמנט החדש מוטמע על הרקע המקורי.

מתחת למכסה המנוע רץ שילוב של כמה מודלים. הבסיס נשען על מודלי אינפיינטינג של סטייבל דיפיוז'ן לצד גרסאות מותאמות אישית של היוצר, יחד עם בקרי קונטרולנט מסוג סקריבל, קאני ואופן פוז, ומודל קליפ של אופן איי איי לעיבוד הטקסט. התיעוד מציג דוגמאות של הוספת דמות אדם לפי שלד לתוך תמונת יער, וכן הוספת בתים או כיסאות ששורבטו על גבי נופי שלג ויער בלי לגעת בסביבה.

מתאים ל

• הוספת דמות לסצנה

  הגדרת שלד גוף מדויק מעל תמונת רקע קיימת כדי להושיב או להעמיד בה דמות חדשה.

• שרטוט רהיטים ומבנים

  ציור קווי מתאר של חפצים כמו כיסאות או בתים ושילובם באזורים ריקים בתמונה.

• אינפיינטינג מבוקר

  עריכת חלק מוגדר מתוך תמונה עם הנחיות צורה ברורות בלי להרוס את שאר הסביבה.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש בכלי ישירות בדפדפן, כי האפליקציה נמצאת במצב של שגיאת ריצה. מעבר לזה, הממשק דורש דיוק ידני בציור או בהבנת שלדי אופן פוז, והוא אינו פתרון אוטומטי בלחיצה אחת. אם תרצו להריץ אותו תצטרכו לבדוק את הקוד בעצמכם או להמתין שיתוקן.

איך משתמשים

בממשק יש שתי לשוניות נפרדות, אחת לשרבוט ואחת לשלד גוף. מעלים תמונה, משרבטים או מגדירים תנוחה, ממלאים את שדות הפרומפט ולוחצים על כפתור הג'נרוט. המערכת מוגדרת לרוץ על מעבד גרפי מסוג איי עשר ג'י לארג', חומרה חזקה שאמורה לתת פלט בתוך שניות בודדות בלי צורך בהרשמה או התחברות.

הרישיון

הפרויקט מפורסם תחת רישיון פתוח מסוג אם איי טי, שמאפשר שימוש חופשי, שינוי והרצה כולל לצרכים מסחריים. אין הצהרה ייעודית לגבי שמירת הקבצים המועלים או התוצרים שמופקים בדפדפן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗