AnyDoor-online

מה זה

מעלים שתי תמונות לממשק. באחת מסמנים את חפץ המקור באמצעות כלי המכחול, ובשנייה מסמנים את האזור ברקע שבו רוצים שהחפץ יישתל. המערכת מייצרת תמונה חדשה שבה האובייקט משתלב בסצנה לפי הסימון שהגדרתם, ויש דוגמאות מובנות של רקעים וחפצים שאפשר לטעון בלחיצה.

מאחורי הקלעים הקוד מתבסס על מודל AnyDoor יחד עם מודל לעידון מסכות, CLIP של OpenAI לצורך פענוח ויזואלי, ומשפחת מודלי T5. תהליך הדגימה נעשה באמצעות DDIM Sampler עם ארכיטקטורת ControlNet מותאמת, מה שמאפשר שליטה בצורת האובייקט וברמת המיזוג שלו לתוך התאורה של הרקע.

מתאים ל

• הדמיית מוצרים בסביבות שונות

  חיתוך מוצר מצילום סטודיו ושתילה שלו בתוך חדר או נוף טבעי.

• החלפת חפצים בעיצוב פנים

  סימון רהיט בתמונת חדר והחלפתו בפריט ריהוט מתמונה נפרדת.

• עריכת תמונות מותאמת אישית

  העברת חפץ אישי או בגד מצילום אחד אל תוך תמונה קבוצתית או רקע חדש.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאת ריצה ולא עובדת כרגע ברשת. מעבר לזה, סימון גס מדי על תמונת המקור פוגע ישירות באיכות התוצאה, והכלי דורש ציור ידני מדויק כדי לא לעוות את האובייקט. מודל הטלאת עצמים גם נוטה לפספס בהצללות מורכבות אם היחס בין החפץ לרקע שונה מדי.

איך משתמשים

טוענים תמונת רקע ותמונת חפץ, מציירים מסכה על שתיהן ולוחצים על כפתור ההרצה. יש אפשרות לקבוע את מספר צעדי הדגימה עם ברירת מחדל של 30, לשנות את עוצמת השליטה ואת סולם ההנחיה, ולהפעיל שמירה על צורת המסכה המקורית. ההדגמה מוגדרת לרוץ על מעבד גרפי A10G קטן, אך כרגע הדף מדווח על שגיאת ריצה כך שאי אפשר להריץ אותו ישירות בדפדפן בלי תיקון של השרת.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמתיר שימוש חופשי כולל שימוש מסחרי והתאמת קוד המקור. אין פירוט לגבי שמירת תמונות שמועלות לשרת, ולכן לא מומלץ להעלות חומרים רגישים כשהשרת פעיל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗