segment-anything-with-clip

מה זה

התהליך פשוט למדי. אתם מעלים קובץ תמונה, מקלידים הנחיית טקסט כמו dog או cat, ומקבלים מסיכה ויזואלית שמבודדת את האובייקט המבוקש.

מתחת למכסה המנוע רץ שילוב ישיר בין שני כלים מוכרים. המערכת מריצה קודם את SamAutomaticMaskGenerator עם מודל הבסיס vit_b של Segment Anything כדי לחלץ מסיכות מכל התמונה, ואז משתמשת ב־CLIP כדי לסנן ולהשאיר רק את המסיכות שמתאימות לתיאור הטקסטואלי שהזנתם.

הממשק כולל גם שלושה מחווני סף שמאפשרים לכוונן את התוצאה: סף ה־IOU החזוי, סף יציבות המסיכה, וסף ההתאמה של CLIP. אין כאן דוגמאות מובנות מראש, כך שחייבים להעלות קובץ משלכם כדי להתחיל.

מתאים ל

• חיתוך אובייקטים לפי מילה

  הזנת תיאור כמו car כדי לבודד כלי רכב מתוך תמונת רחוב בלי לסמן ידנית נקודות.

• בדיקת שילובי סף

  משחק עם סליידר ה־clip_threshold כדי לראות איך רמת הדיוק של הטקסט משפיעה על המסיכות.

• ניסוי מהיר לפני הטמעה

  בדיקה אם השילוב בין SAM ל־CLIP מתאים לנתונים שלכם לפני שמתקינים ספריות מקומית.

איפה זה נופל

האפליקציה מבוססת על המודל הקל יותר vit_b ולא על הגרסאות הכבדות והמדויקות יותר של SAM, ולכן אובייקטים מורכבים או קטנים עלולים להתפספס. בנוסף, CLIP מסנן מסיכות שחולצו אוטומטית מראש, כך שאם SAM לא זיהה את העצם בשלב הראשוני, שום טקסט שתכתבו לא יציל את המצב. הממשק גם דורש טקסט באנגלית בלבד ולא מציע כלים לעריכה ידנית של החיתוך.

איך משתמשים

טוענים תמונה בשדה הייעודי, כותבים את המילה הרצויה, מכוונים את הסליידרים אם רוצים, ולוחצים להרצה. מאחר שהאפליקציה מוגדרת במצב שינה, בפעם הראשונה שתפתחו אותה תצטרכו להמתין שהשרת יתעורר.

היא רצה על חומרת t4-medium, כך שמרגע שהשרת חי, יצירת המסיכות וסינון ה־CLIP לוקחים מספר שניות לתמונה רגילה. אין צורך בחשבון או בהתחברות כדי להשתמש.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי והתאמת הקוד לצרכים שלכם. התמונות שאתם מעלים עוברות עיבוד על גבי השרת שמארח את המרחב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗