text-based-inpainting

מה זה

אתם מעלים תמונה וממלאים שתי תיבות טקסט. בראשונה כותבים מה החפץ שרוצים להחליף, ובשנייה מה רוצים לקבל במקומו. במקום שתצטרכו לצבוע ידנית את האזור בעזרת מברשת, המערכת מזהה את העצם לבד לפי התיאור המילולי ויוצרת מסיכה בינארית.

מאחורי הקלעים רצים שני מודלים שונים. המודל הראשון הוא CLIPSeg שמאתר את החפץ בתמונה לפי הטקסט וגוזר את השטח שלו. המודל השני הוא runwayml/stable-diffusion-inpainting, שמקבל את המסיכה שנוצרה ומצייר בתוכה את מה שביקשתם בתיבה השנייה. בדוגמה המובנית בממשק אפשר לראות החלפה של כוס אחת מסוג glass בכוס אחרת מסוג cup.

מתאים ל

• החלפת חפצים פשוטה

  החלפה של פריט בודד באחר על ידי תיאור מילולי בלבד, כמו כוס בכוס אחרת כפי שמופיע בהדגמה.

• יצירת מסיכות אוטומטית

  בדיקת היכולת של המודל לבודד אזורים לפי טקסט לצורך עריכה, ללא צורך בצביעה ידנית בעכבר.

• בחינת שרשור מודלים

  הבנת האופן שבו מחברים מודל פילוח תמונה ישירות לתוך מודל ציור בקוד פייתון.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה כרגע קורסת ולא פעילה ברשת. מעבר לזה, הכל תלוי ביכולת של המודל הראשון להבין איפה החפץ נמצא בלי שתוכלו לתקן את הגבולות שלו ידנית. אם הוא יפספס את האובייקט או יסמן רק חלק ממנו, הציור מחדש ייצא מרוח או ישנה אזורים שלא התכוונתם לגעת בהם.

איך משתמשים

לוחצים על כפתור submit אחרי שמזינים את התמונה ושני התיאורים, או פשוט בוחרים את הדוגמה המוכנה מהרשימה כדי לראות איך זה עובד. לפי התיאור, התוצאה אמורה להופיע בתוך כמה שניות. כרגע אי אפשר להריץ אותה בדפדפן כי היא מוגדרת במצב של שגיאת ריצה, למרות שהיא מוגדרת לשבת על חומרת t4-medium.

הרישיון

הרישיון של המרחב עצמו לא דווח. המשמעות היא שאין הרשאה ברורה לגבי שימוש מסחרי בקוד או בפלט שנוצר. בנוסף, המודלים שהקוד טוען מגיעים עם תנאי שימוש משלהם שצריך לבדוק בנפרד לפני כל שימוש מעבר לבדיקה פרטית.

הרישיון המלא ב־Hugging Face ↗