florence-sam-masking

מה זה

מעלים תמונה לתיבת הקלט, כותבים תיאור טקסטואלי חופשי באנגלית של מה שרוצים לסמן, ולוחצים על כפתור ההרצה. בצד השני מופיעה התמונה המקורית כשעליה שכבת מסכה שמבודדת בדיוק את האובייקטים שהגדרתם. אם שום דבר לא תואם לתיאור, מופיעה הודעה שלא זוהו עצמים.

מאחורי הקלעים הקוד משלב שני מודלים בעזרת ספריית supervision. תחילה רץ המודל של מיקרוסופט מסדרת Florence, שקורא את הטקסט ומאתר את מיקום האובייקטים במרחב התמונה. מיד אחריו נכנס לפעולה מודל SAM, שלוקח את הזיהוי הראשוני וגוזר ממנו מסכת סגמנטציה ברמת הפיקסל הבודד. האפליקציה גם מציינת תמיכה במודלים Florence-2-base, Florence-2-large ו־phi-1_5.

מתאים ל

• חיתוך אובייקטים לפי מילים

  סימון עצמים ספציפיים בתמונות מורכבות בעזרת תיאור טקסט פשוט וללא ציור ידני.

• הכנת דאטה לאימון

  יצירת מסכות סגמנטציה מהירות לתיוג תמונות בלמידה עמוקה על בסיס טקסט.

• בדיקת שרשור מודלים

  בחינת החיבור המעשי בין מודל זיהוי של מיקרוסופט לבין מודל החיתוך של סאם.

איפה זה נופל

הבעיה המיידית היא הסטטוס הטכני. כרגע יש שגיאת ריצה פעילה שמונעת מהכלי לעבוד בעמוד. מעבר לכך, הממשק דורש תיאור באנגלית ולא יודע להתמודד עם הנחיות בעברית. הדיוק תלוי לחלוטין בהבנת הנקרא של פלורנס, ואם הוא מפספס את העצם, סאם בכלל לא יקבל נקודות אחיזה לחיתוך המסכה.

איך משתמשים

נכנסים לממשק, גוררים תמונה, מקלידים הנחיה בתיבת הטקסט ולוחצים על שליחה. התשתית יושבת על חומרת zero-a10g, כך שזמן העיבוד אמור לקחת שניות בודדות כשמעבד ה־GPU מוקצה לפעולה. כרגע העמוד מדווח על שגיאת ריצה, ולכן אי אפשר לבצע עיבוד ישירות בדפדפן עד שהמפתח יתקן את הקוד.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי ושינוי של הקוד גם לצרכים מסחריים. תמונות שאתם מעלים עוברות דרך השרתים של האגים פייס לצורך החישוב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗