multimodalart/stable-diffusion-inpainting

מה זה

אתם מעלים תמונה ובוחרים מה לשנות בה. הממשק נותן שתי אפשרויות לסימון האזור שרוצים למחוק, או לצייר עליו ישירות מסכה עם כלי הציור, או להקליד מילה והכלי יזהה לבד מה למסך. אחרי שסימנתם, כותבים מה להכניס במקום ולוחצים על הרצה.

מאחורי הקלעים רץ שילוב של מודל CLIPDensePredT שמזהה את האובייקטים לפי הטקסט, יחד עם מודלים של סטייבל דיפיוז'ן בגרסאות v1-4 או v1-5 שיוצרים את התוכן החדש וממזגים אותו ברקע. הדוגמה שמגיעה בקוד מראה תמונת בסיס עם מסכה מוכנה והוראה להוסיף פנדה שיושבת על ספסל.

מתאים ל

• החלפת אובייקט בתמונה

  מסמנים פריט בציור או בהקלדת שמו, ומבקשים מהמודל לייצר במקומו משהו חדש שמשתלב בסצנה.

• עריכה מהירה ללא פוטושופ

  צביעה גסה של מסכה מעל אזור פגום בתמונה כדי שהאלגוריתם ישלים אותו מחדש לפי טקסט.

• חיתוך אוטומטי של עצמים

  שימוש בזיהוי טקסטואלי כדי לבודד אלמנט ספציפי בתמונה בלי צורך לצייר עליו ביד.

איפה זה נופל

הבעיה המיידית היא שההדגמה פשוט לא עובדת ברשת כרגע ומחזירה שגיאה. מעבר לזה, המודלים שרצים כאן הם גרסאות מוקדמות וישנות משנת 2022, כך שדיוק המחיקה וההתאמה לתאורה שמסביב יהיו מוגבלים ביחס לכלים מודרניים. גם זיהוי האובייקטים האוטומטי דרך טקסט מפספס בקלות קצוות מורכבים אם לא מציירים את המסכה לבד.

איך משתמשים

בפועל אתם מעלים קובץ, בוחרים אם לסמן ידנית או להקליד מילה לחיפוש, כותבים את התיאור של מה שרוצים לראות במקום ולוחצים על Run. המערכת מוגדרת לרוץ על מעבד גרפי מסוג T4 small, שזה כרטיס בסיסי שאמור לתת תוצאה תוך שניות בודדות, אבל נכון לעכשיו אי אפשר להריץ שם שום דבר כי היישום תקוע במצב של שגיאת ריצה. לא צריך חשבון מיוחד כדי לנסות, רק שהשרת יעבוד.

הרישיון

הפרויקט מפורסם תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לחלוטין בקוד, כולל עריכה, הפצה ושימוש מסחרי, כל עוד שומרים על הודעת זכויות היוצרים המקורית. לגבי התמונות שמעלים או מייצרים, אין בקוד הגדרה ספציפית וזה תלוי במדיניות הכללית של המודלים עצמם.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗