Matting-Anything

מה זה

אתם מעלים תמונה ובוחרים איך להגדיר את האובייקט שרוצים לחתוך, באמצעות תיאור טקסטואלי באנגלית, סימון נקודה או ציור תיבה. לצד זה בוחרים מה לעשות עם הרקע החדש, להשתמש בדגימה קיימת או לייצר רקע מאפס בעזרת פרומפט טקסטואלי.

מאחורי הקלעים הקוד מחבר כמה רכיבים כבדים יחד. זיהוי הטקסט והאובייקטים נשען על מודלים כמו BERT, RoBERTa וארכיטקטורת Grounding DINO, גזירת השוליים המדויקת מתבססת על עקרונות של Segment Anything, ויצירת הרקעים החדשים רצה דרך Stable Diffusion v1.5. בגלריה מוצגות תוצאות של חיתוך אלפא נקי למסך ירוק או החלפת רקע מלאה ברחובות עיר או נוף טבעי.

מתאים ל

• בידוד דמויות מתמונות

  חיתוך מדויק של אנשים או בעלי חיים בעזרת תיאור מילולי או סימון מהיר על גבי המסך.

• החלפת רקע אוטומטית

  הסרת הרקע המקורי והחלפתו ברקע חדש שנוצר ישירות מטקסט בעזרת סטייבל דיפיוז'ן.

• הפקת מסך ירוק

  יצירת שכבת שקיפות מדויקת המציגה את האובייקט על רקע ירוק אחיד לצורכי עריכה.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש באפליקציה בדפדפן בכלל, כי היא נמצאת במצב של תקלת ריצה. מעבר לזה, המודלים הטקסטואליים שרצים בפנים דורשים אנגלית, כך שתיאורים בעברית לא יעבדו. החיבור של כמה מודלים כבדים על חומרה חלשה יחסית נוטה ליצור צווארי בקבוק וזמני המתנה ארוכים, במיוחד כשמבקשים לייצר רקע חדש דרך סטייבל דיפיוז'ן.

איך משתמשים

במצב תקין מעלים קובץ, בוחרים סוג הנחיה, כותבים תיאור קצר ולוחצים על כפתור ההפעלה. יש גם הגדרות מתקדמות שמאפשרות לכוונן ספי זיהוי כמו box threshold וספי חפיפה, לצד בחירת אופן הציור על המסך. האפליקציה רצה על חומרת t4-small בסיסית, מה שאומר שעיבוד משולב של זיהוי אובייקט והרצת מודל תמונה לוקח בדרך כלל לפחות כמה עשרות שניות לכל תמונה.

הרישיון

הקוד מפורסם תחת רישיון MIT, מה שנותן חופש כמעט מלא להעתיק, לשנות ולהריץ אותו באופן פרטי או מסחרי. לגבי התמונות שמעלים או מייצרים בדפדפן, אין כאן תנאי שימוש מיוחדים מעבר למדיניות האחסון הרגילה של השרת שמארח את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗