inst-inpaint

מה זה

אתם מעלים תמונת מקור ומקלידים הוראת טקסט באנגלית. המערכת מחזירה תצוגה מקדימה חתוכה של התמונה ותוצאה סופית נקייה מהאובייקט שבחרתם להסיר. בממשק יש דוגמאות מובנות מראש עם תוצאות שמורות בזיכרון, כך שאפשר לראות מיד איך זה עובד בלי להמתין לעיבוד ראשוני.

מאחורי הקלעים הקוד טוען מודל בשם abyildirim/inst-inpaint-models יחד עם מודל השפה google-bert/bert-base-uncased שמנתח את ההנחיה הכתובה. התהליך מתבצע בעזרת ארכיטקטורת ldm מבוססת דיפוזיה, שמחליפה את האזור המבוקש ברקע שמתמזג עם שאר התמונה.

מתאים ל

• מחיקת חפצים מתמונות

  מסירים פריטים לא רצויים מהמרכז של תמונה באמצעות כתיבת שם החפץ באנגלית.

• בדיקת הסרת אובייקט בטקסט

  בוחנים איך מודל משולב עם bert מזהה עצמים להסרה בלי לצייר עליהם מברשת.

• התנסות במודל דיפוזיה

  מריצים דוגמאות מוכנות מראש כדי להבין את איכות השחזור של אזורים שנמחקו.

איפה זה נופל

יש כאן מגבלה קשיחה על הטקסט, ואם המשפט שלכם לא מתחיל בדיוק במילים Remove the, הממשק יזרוק שגיאה ולא ירוץ. בנוסף, הממשק כופה חיתוך מרכזי של התמונה לריבוע בלי אפשרות לבטל את הסימון, מה שאומר שאי אפשר לעבד שוליים רחבים. כדאי לזכור שהדוגמאות המוכנות נשמרו מראש בזיכרון, ולכן הן לא משקפות את זמן העיבוד האמיתי של תמונה חדשה.

איך משתמשים

לוחצים על הדוגמאות הקיימות או מעלים קובץ משלכם, ומקלידים בשדה הטקסט הוראה שמתחילה במילים Remove the. ההרצה דורשת כרטיס גרפי מסוג t4-small, אך כרגע המופע נמצא במצב שינה, כך שתצטרכו להמתין כמה דקות להפעלה ראשונית או להעיר אותו. אין צורך בחשבון בתשלום או בהתחברות מיוחדת כדי לנסות.

הרישיון

הפרויקט מפורסם תחת רישיון mit, שמאפשר שימוש חופשי, שינוי והפצה של הקוד. עם זאת, אין פרטים לגבי שמירת התמונות שאתם מעלים או החרגת זכויות על התוצרים, לכן לא מומלץ להעלות קבצים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗