evf-sam

מה זה

אתם מעלים תמונה בפורמט רגיל, כותבים בתיבת הטקסט איזה אובייקט אתם מחפשים, ומקבלים שתי תוצאות: מסכה מבודדת של העצם ותמונה שמציגה את הסימון עליו. יש בממשק גם תיבת סימון נוספת לפי הקוד, לצד דוגמה מובנית של זברה עם ההנחיה לסמן דווקא את הזברה בצד שמאל למעלה.

מאחורי הקלעים רץ שילוב של המודל YxZhang/evf-sam-multitask עם Salesforce/BLIP וארכיטקטורת BEiT3 לעיבוד הטקסט והתמונה יחד. הרעיון הוא לקחת מודל שמבין תמונות ומילים, ולחבר אותו ליכולות החיתוך המדויקות של SAM כדי לתפוס בדיוק את מה שתיארתם.

מתאים ל

• פילוח אובייקט לפי מיקום

  חיתוך פריט ספציפי מתוך קבוצה, כמו בחירת הזברה השמאלית מתוך עדר, בעזרת תיאור מילולי בלבד.

• בדיקת יכולות המודל

  בחינה מהירה של שילוב המודלים evf-sam ו־BLIP מול תמונות שונות ישירות מהדפדפן.

• יצירת מסכות לפוטושופ

  הפקת מסכת שחור-לבן נקייה של אובייקט מתוך תמונה כדי להשתמש בה לעריכה גרפית.

איפה זה נופל

הבעיה המיידית היא שהעמוד שבור טכנית ולא עולה. מעבר לזה, המודל נשען על אנגלית ומתקשה בהבנת הנחיות מורכבות בשפות אחרות. דוגמת הזברה שנמצאת בקוד מראה זיהוי בסיסי מאוד, ובלי גישה פעילה קשה לדעת איך הוא מתמודד עם תמונות עמוסות בפרטים דומים.

איך משתמשים

בפועל, כרגע אי אפשר להריץ את ההדגמה הזו בדפדפן כי הסטטוס שלה מוגדר כתקלת הגדרה (CONFIG_ERROR). במצב תקין היא יושבת על חומרת zero-a10g של אנבידיה ומבוססת גרדיו, כך שהיא לא דורשת התקנה או תשלום, אך עד שהיוצר לא יתקן את שגיאות העלייה היא פשוט לא תגיב.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי בקוד ובמשקלים כולל שינויים והפצה מסחרית. לגבי התמונות שאתם מעלים, הן מועברות דרך השרתים שמארחים את המרחב.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗