OWLSAM

מה זה

אתם מעלים קובץ תמונה ומקלידים שמות של עצמים מופרדים בפסיקים, למשל חתול או ספה. המערכת מחזירה את התמונה המקורית כשעליה שכבות צבע שמסמנות את הגבולות המדויקים של כל עצם שנמצא.

מאחורי הקלעים רצים שני מודלים שונים שעובדים יחד. המודל הראשון הוא OWLv2 של גוגל שמאתר איפה העצמים נמצאים לפי הטקסט ויוצר סביבם תיחום מרובע. המודל השני הוא SAM של פייסבוק, שמקבל את התיחום הזה והופך אותו למסכה מדויקת שמפרידה את האובייקט מהרקע, מכיוון שבאופן טבעי SAM לא יודע לעבוד ישירות עם טקסט.

מתאים ל

• חיתוך מוצרים למסחר

  בידוד פריטים מתוך תמונות קטלוג לפי שמות המוצרים ישירות לדפדפן.

• תיוג נתונים לאימון

  יצירת מסכות סגמנטציה מהירות לתמונות על בסיס מילות מפתח באנגלית.

• בדיקת שילוב מודלים

  בחינה מעשית של החיבור בין מודל זיהוי של גוגל למודל המסכות של מטא.

איפה זה נופל

המודלים מבינים תוויות באנגלית בלבד, כך שחיפוש בעברית לא יניב תוצאות. אם מודל הזיהוי הראשון מפספס את העצם בגלל זווית קשה או ניסוח לא מתאים, המודל השני כלל לא יקבל קואורדינטות ולא יסמן כלום. בנוסף, חומרת הענן השיתופית עלולה להכניס אתכם להמתנה קצרה אם יש עומס באותו רגע.

איך משתמשים

טוענים תמונה לממשק של גרדיו, מקלידים תוויות מופרדות בפסיק, ומשחקים לפי הצורך בשני מכוונים: סף הביטחון של הזיהוי וסף הדיוק של המסכה. לוחצים על כפתור ההפעלה. הריצה מתבצעת על מאיץ גרפי מסוג A10G שמוקצה לפי דרישה, כך שהתוצאה מגיעה תוך שניות בודדות, ואין צורך בהרשמה או התחברות.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וגם מסחרי בקוד. התמונות שאתם מעלים עוברות עיבוד בשרתי השרות של הדף הפתוח, ולכן לא מומלץ להעלות לשם מידע רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗