mask-and-sketch

מה זה

התהליך מתחיל בהעלאת תמונה של 512 פיקסלים וציור מסכה מעל החלק שרוצים להחליף. אחרי שלוחצים על שמירת המסכה, עוברים למסך הבא שבו מציירים שרבוט חופשי שמגדיר את הצורה החדשה, ומקלידים פרומפט טקסטואלי שמסביר מה מופיע בשרבוט. בסוף התהליך מקבלים גלריית תמונות מעובדות.

מאחורי הקלעים רץ שילוב של שלושה מודלים. המערכת משתמשת ב־runwayml/stable-diffusion-inpainting יחד עם מודל השרבוטים lllyasviel/sd-controlnet-scribble ומזהה הקצוות lllyasviel/Annotators. השילוב הזה לוקח את גבולות המסכה, מפענח את קווי השרבוט ומייצר תוכן חדש שמשתלב בתמונה המקורית.

מתאים ל

• החלפת אובייקט לפי צורה

  מחיקת פריט מתמונה וציור קווי מתאר של חפץ אחר כדי להכריח את המודל לייצר צורה מסוימת.

• הוספת אביזרים לתמונות

  סימון אזור ריק, שרבוט סקיצה גסה של כובע או משקפיים והנחיית המודל בעזרת טקסט למילוי הפרטים.

• בדיקת התנהגות ControlNet

  בחינת השילוב בין מודל אינפיינטינג לשליטה מבוססת סקיצה עם כוונון ידני של צעדים ומשקלים.

איפה זה נופל

ההגבלה הראשונה והבולטת ביותר היא שהדף מסומן כשבור עם שגיאת מערכת, כך שאי אפשר להריץ אותו כרגע בדפדפן. בנוסף, הקוד מקובע לעבודה ברזולוציה של 512 פיקסלים בלבד. אם תעלו תמונה גדולה יותר, היא תותאם לגודל הזה, ולא תקבלו תוצאות חדות שמתאימות להדפסה או למסכים גדולים.

איך משתמשים

לוחצים על כפתור טעינת דוגמה או מעלים תמונה עצמאית, מסמנים עליה מסכה ולוחצים על כפתור קיבוע המסכה. בשלב השני משרבטים את התוספת, מקלידים הנחיית טקסט, מכווננים פרמטרים מתקדמים כמו מספר צעדים או עוצמת ההנחיה אם רוצים, ולוחצים על כפתור היצירה. החומרה שהוגדרה להרצה היא כרטיס מסך T4 בסיסי, אך נכון לעכשיו היא בכלל מדווחת על שגיאת הרצה ולא תפעל עד שהיוצר יתקן אותה.

הרישיון

הקוד פתוח תחת רישיון MIT שמאפשר שימוש חופשי, שינוי והפצה. עם זאת, אין פירוט לגבי שמירת התמונות שמועלות ברשת או זכויות השימוש בתוצרים של מודלי הבסיס.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗