GLEE_demo

מה זה

אתם מעלים תמונה לעורך המובנה ומקבלים מסיכות חיתוך וזיהוי של העצמים שביקשתם. הממשק מאפשר להנחות את הזיהוי בכמה דרכים: בחירת קטגוריות מוגדרות מראש, הקלדת תיאור טקסטואלי חופשי של האובייקט, או סימון ישיר על גבי התמונה בעזרת תיחום, נקודה או שרבוט חופשי.

מאחורי הקלעים רץ המודל GLEE שמבוסס על שילוב בין רשת הראייה baaivision/EVA לבין מודל השפה google-bert/bert-base-uncased. השילוב הזה מאפשר לחבר בין הנחיות טקסט באנגלית לבין עיבוד ויזואלי ברמת הפיקסל, עם תמיכה בהגדרות ממאגר Objects365.

מתאים ל

• חיתוך אובייקט לפי טקסט

  זיהוי ובידוד של עצם ספציפי בתוך תמונה על ידי הקלדת תיאור מילולי באנגלית.

• סגמנטציה אינטראקטיבית

  סימון נקודה או תיבה סביב פריט בתמונה כדי להפיק מסיכת חיתוך מדויקת.

• זיהוי קטגוריות מוגדרות

  איתור מהיר של עצמים מתוך רשימת מחלקות קבועה מראש המבוססת על Objects365.

איפה זה נופל

נכון לעכשיו ההדגמה נמצאת במצב של שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להריץ אותה ישירות בדפדפן בלי שהמפתח יתקן אותה או שתשכפלו אותה לסביבה שלכם. בנוסף, מודל השפה שנמצא בקוד הוא bert-base-uncased, מה שאומר שהבנת תיאורי הטקסט מוגבלת לאנגלית בלבד וללא תמיכה בעברית.

איך משתמשים

טוענים תמונה, בוחרים את סוג ההנחיה המבוקש ומזינים קטגוריה, תיאור או סימון חזותי. אם משתמשים בסימון, יש כפתור תצוגה מקדימה כדי לוודא את האזור לפני הריצה. לחיצה על כפתור ההפעלה שולחת את התמונה לעיבוד על גבי מעבד גרפי מסוג t4-small. נכון לעכשיו אין צורך בהתחברות כדי לגשת לממשק.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי, שינוי והפצה, כולל לצרכים מסחריים. לגבי התמונות שאתם מעלים, הן מועברות לעיבוד בשרת שמארח את ההדגמה, ולכן לא מומלץ להעלות חומרים רגישים או פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗