SAM_and_MetaCLIP

מה זה

אתם מעלים תמונה, מקלידים מילת חיפוש באנגלית כמו dog או jacket, וקובעים סף ביטחון בעזרת סליידר. הפלט מוצג בתוך גלריה שמחזירה את המקטעים שהתאימו לתיאור שלכם.

מאחורי הקלעים רץ שילוב בין שני מודלים של מטא. מודל SAM בגרסת vit-large חותך את התמונה למסכות שונות, ומודל MetaCLIP בגרסת b32-400m סורק את החיתוכים ומשווה אותם לטקסט שהקלדתם כדי להחליט מה להציג.

בדוגמאות המוכנות מראש בתוך הממשק אפשר למצוא תמונות של כלבים שמחפשים בהם פריטים שונים, החל מהכלב עצמו ועד כוס קפה, מעיל או בניין ברקע, כולם עם סף ביטחון של 0.5 או 0.6.

מתאים ל

• חיתוך אובייקט לפי מילה

  בידוד פריט מתוך תמונה בעזרת הקלדת שמו באנגלית והגדרת סף התאמה.

• בדיקת MetaCLIP מול SAM

  בחינה מהירה של שילוב המודלים לאיתור מסכות עצמים לפני פיתוח עצמאי.

• סינון רקע ואביזרים

  איתור פרטים קטנים כמו כוס קפה או מעיל בתוך תמונה מורכבת.

איפה זה נופל

הבעיה המרכזית כרגע היא טכנית לחלוטין. העמוד מדווח על שגיאת ריצה ולא מתפקד, כך שאין מה לבנות על הרצה מקוונת חלקה.

מעבר לזה, הממשק מחפש רק לפי טקסט באנגלית מול MetaCLIP. אם תכתבו בעברית או תבקשו יחסים מורכבים בין עצמים, החיבור בין מודל המסכות למודל הטקסט פשוט יפספס את האובייקט.

איך משתמשים

השימוש פשוט מאוד ברמת הממשק. גוררים תמונה לקלט, כותבים מה לחפש, מכוונים את הסליידר ולוחצים על Submit כדי לקבל את החיתוכים בגלריה.

העמוד מוגדר לרוץ על חומרת a10g-small, שזה מעבד גרפי מהיר למדי, אבל נכון לעכשיו הוא תקוע במצב של שגיאת ריצה. אי אפשר להריץ אותו ישירות בדפדפן בלי שהיוצר יתקן את הקוד או שתריצו את הסקריפט אצלכם.

הרישיון

היוצר לא הגדיר רישיון לפרויקט הזה. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לצרכים מסחריים, וכל תמונה שאתם מעלים לסביבה ציבורית כזו אינה מוגנת בהסכם פרטיות ייעודי.

הרישיון המלא ב־Hugging Face ↗