SoM

מה זה

אתם מעלים קובץ תמונה ומקבלים תמונה מעובדת שבה אובייקטים שונים ממוספרים, מסומנים ומכוסים במסכות צבעוניות. המטרה היא להכין את התמונה לשיחה מבוססת ראייה ממוחשבת, כך שכל פריט יקבל תגית ברורה שקל להתייחס אליה בצ'אט.

מאחורי הקלעים רץ המודל Segment Anything בגרסת vit_h הכבדה יחד עם חבילת supervision וקוד של SoM. המודל מזהה את העצמים ומייצר את המסכות, והממשק מוסיף עליהם סימונים מספריים. לצד זה מופיע רכיב שיחה שמאפשר לתשאל את מה שרואים, ויש אפשרות לשלוט בשקיפות המסכה ולבחור מצבי תיוג שונים.

מתאים ל

• סימון אזורים בתמונה

  הפקת מסכות ומספרים על גבי אובייקטים בתמונה לבדיקת דיוק החלוקה.

• שיחה על פריטים ספציפיים

  הזנת מפתח OpenAI ותשאול המודל לגבי אובייקט מסוים לפי המספר שקיבל.

• בדיקת שקיפות מסכות

  כוונון רמת השקיפות של השכבות הצבעוניות על גבי התמונה המקורית.

איפה זה נופל

ההדגמה מוגבלת מאוד בגלל חומרת מעבד בסיסית, מה שעלול לגרום לעיכובים כבדים בכל פעולה. בנוסף, רכיב הצ'אט דורש מפתח API אישי של OpenAI, כך שאי אפשר פשוט ללחוץ ולשוחח בלי להגדיר חיבור וחשבון משלכם. היא גם לא מייצאת קוד מוכן לעבודה שוטפת, אלא רק מציגה הדגמה חזותית.

איך משתמשים

גוררים תמונה לשדה הקלט ולוחצים על Generate Marks כדי להפיק את הסימונים, או על Highlight Marks לפי הצורך. יש שדה להזנת מפתח API של OpenAI כדי להפעיל את ממשק השיחה שמתחת לתמונה. ההדגמה רצה על מעבד בסיסי בלבד, ולכן הרצת מודל כמו vit_h ללא מאיץ גרפי תיקח זמן מורגש, בטח בתמונות עמוסות בפרטים.

הרישיון

הקוד מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה. התמונות שאתם מעלים והמפתחות שאתם מזינים מעובדים ישירות בסביבת ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗