OWLSAM2

מה זה

אתם מעלים תמונה, כותבים שמות של עצמים מופרדים בפסיקים, וקובעים סף ביטחון בעזרת סליידר שמוגדר כברירת מחדל על 0.05. בתמורה מקבלים את התמונה עם מסכות סגמנטציה מדויקות סביב העצמים שביקשתם.

מאחורי הקלעים רץ שילוב של שני מודלים נפרדים. המודל google/owlv2-base-patch16-ensemble מזהה את העצמים לפי הטקסט ומייצר תיחום ראשוני, ואז המודל merve/sam2-hiera-small מקבל את המיקומים האלה ומייצר מהם מסכות מפוקסלות. SAM 2 הרגיל לא יודע לקבל טקסט ישירות, והחיבור ל־OWLv2 עוקף את המגבלה הזאת.

מתאים ל

• חיתוך אובייקטים מתמונות

  יצירת מסכות בידוד לחפצים בתמונה לפי שמותיהם באנגלית במקום לסמן אותם ידנית.

• הכנת דאטה לאימון

  תיוג אוטומטי של תמונות במסכות סגמנטציה לצורך בניית מאגרי מידע למודלים אחרים.

• בדיקת שילוב מודלים

  בחינת הרעיון של הפיכת SAM 2 למודל מונחה טקסט בעזרת מודל זיהוי חיצוני.

איפה זה נופל

הבעיה המיידית היא שהכלי פשוט קרס ולא רץ כרגע בעמוד. מעבר לזה, המודלים מבינים תוויות באנגלית בלבד, כך שחיפוש בעברית ייכשל. השילוב בין שני מודלים יוצר גם תלות כפולה, כי אם מודל הזיהוי מפספס את העצם בתמונה, מודל המסכות אפילו לא ינסה לצייר אותו.

איך משתמשים

בממשק מעלים קובץ, מקלידים תוויות באנגלית, מכוונים את הסליידר ולוחצים להרצה. יש דוגמאות מוכנות שנשמרו מראש כדי לחסוך זמן.

ההדגמה מוגדרת לרוץ על מעבד גרפי מסוג t4-small, אבל כרגע העמוד מדווח על שגיאת ריצה (RUNTIME_ERROR). המשמעות היא שאי אפשר להשתמש בה כרגע ישירות דרך הדפדפן עד שיתקנו את הקוד או את התלויות.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 שמאפשר שימוש מסחרי, שינוי והפצה חופשית. לגבי התמונות שאתם מעלים, הן מועברות דרך השרת שמארח את ההדגמה, ולכן עדיף לא להעלות חומרים רגישים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗