CLIPSeg

מה זה

מעלים קובץ תמונה ומקלידים בתיבת הטקסט תיאור של מה שרוצים לזהות. המערכת מחזירה תמונה שבה מופיעה מסיכה על האזור המבוקש. בממשק יש דוגמה מובנית שמשתמשת בקובץ תמונה מוכן יחד עם המילה wood כדי לסמן עץ.

מאחורי הקלעים רץ המודל CIDAS/clipseg-rd64-refined דרך ספריית transformers של פייתון. הוא משתמש בארכיטקטורה של CLIPSeg שפותחה כדי לבצע חלוקת תמונה לאזורים בשיטות zero-shot ו־one-shot. זה אומר שהוא מנסה לאתר את העצם בתמונה רק על בסיס הטקסט החופשי שהזנתם, גם בלי שעבר אימון ייעודי על הקטגוריה הזאת מראש.

מתאים ל

• איתור עצמים לפי טקסט

  בידוד ויזואלי של פריט מסוים בתוך תצלום מורכב על ידי הקלדת שמו באנגלית.

• בדיקת יכולות zero-shot

  בחינה מהירה של דיוק המודל על עצמים שלא הוגדרו מראש במאגר נתונים סגור.

• יצירת מסיכות ראשוניות

  חיתוך גס של אזורים בתמונה לצורך עיבוד תמונה נוסף או בדיקת היתכנות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה במצב של שגיאת ריצה ולא עובדת כרגע בדפדפן. מעבר לזה, הממשק מקבל רק קלט טקסטואלי ותמונה בודדת בלי אפשרות לכוונן ספי רגישות או לערוך את המסיכה שנוצרת. כדאי לזכור שזה מדגים מודל שרץ על מעבד פשוט, ולא מראה ביצועים של עיבוד מהיר על גבי כרטיס מסך ייעודי.

איך משתמשים

לוחצים על העלאת תמונה או בוחרים את הדוגמה מהרשימה, כותבים תיאור קצר בתיבה ולוחצים על submit. אין כאן דרישה להרשמה או התחברות. ההדגמה מוגדרת לרוץ על חומרת מעבד בסיסית, cpu-basic, כך שעיבוד כזה על מעבד רגיל עשוי לקחת כמה שניות. כרגע העמוד מדווח על שגיאת ריצה, ולכן אי אפשר להריץ אותו בפועל בדפדפן עד שיתוקן.

הרישיון

הרישיון של המרחב לא דווח. המשמעות היא שאין הגדרה ברורה לגבי תנאי השימוש בקוד, בזכויות על התוצרים שמופקים או במה שנעשה עם התמונות שמועלות אליו.

הרישיון המלא ב־Hugging Face ↗