sam-vit-base
קוד פתוחfacebookapache-2.02023-04-19
הכלי מבודד עצמים מתמונות לפי נקודה או תיחום מדויק בלי אימון מוקדם. הוא מתאים למי שרוצה חיתוך ויזואלי מהיר ואוטומטי עם דרישות זיכרון נמוכות יחסית.
- 94Mפרמטרים
- 1.0 GBמשקל הקבצים
- 448,684הורדות בחודש
- 174לייקים
מה זה
מדובר במודל שגוזר מסכות בידוד לעצמים בתוך תמונות על בסיס הכוונה חיצונית, כמו נקודת לחיצה בודדת או קופסת תיחום. פייסבוק אימנו אותו על מאגר עצום של 11 מיליון תמונות ומעל מיליארד מסכות, ולכן הוא יודע לזהות ולהפריד עצמים חדשים לחלוטין בלי שום התאמה אישית של המשקולות.
המבנה הפנימי מחלק את העבודה בין מקודד תמונה שמבוסס על ויז'ן טרנספורמר, מקודד פקודות קלט שמקבל את הנקודות, ומפענח שמחבר ביניהם ומחזיר את המסכה עם ציון התאמה. הוא גם מסוגל לסרוק תמונה שלמה בעצמו עם רשת של 1024 נקודות כדי להפריד כל עצם שקיים בה בלי שום מגע יד.
מתאים ל
- סימון עצמים בלחיצת עכבר
הופך קליק בודד של משתמש באתר או באפליקציה למסכת חיתוך מדויקת סביב הפריט הרצוי.
- חיתוך מראש של קופסאות זיהוי
מקבל קואורדינטות ממובילי זיהוי עצמים קיימים והופך את הריבוע למסכה לפי גבולות הגוף.
- פילוח גיאומטרי אוטומטי
מייצר מסכות לכל החלקים בתמונה באמצעות רשת נקודות כדי להכין דאטה גולמי לאימון.
איפה זה נופל
המודל הזה לא יודע מה הוא רואה, הוא רק יודע איפה עובר הגבול הפיזי של הצורה. הוא מחזיר מסכה בלי תיוג קטגוריאלי, ובשלב זה הוא בכלל לא תומך בפקודות טקסטואליות. אי אפשר לבקש ממנו בעברית או באנגלית לסמן את החלון או את הכלב, אלא חייבים להזין לו קואורדינטות מדויקות של נקודה או תיחום בתמונה.
שאלות
נפוצות
האם אני יכול להקליד למודל תיאור כמו 'תחתוך את המכונית'?
לא. המודל הספציפי הזה לא מקבל טקסט בשום שפה, כולל אנגלית. הוא עובד אך ורק עם קואורדינטות של נקודות, קופסאות תיחום או מסכות קודמות.
האם הוא מגדיר מה השם של העצם שהוא סימן?
לא, הוא מבצע בידוד גיאומטרי טהור ומחזיר מסכה וציון התאמה. אם אתם צריכים לדעת אם העצם המבודד הוא חתול או שולחן, תצטרכו להעביר את האזור החתוך במודל סיווג נוסף.
איך מריצים
בגודל של 94 מיליון פרמטרים ומשקל קובץ של גיגה בייט בודד בפורמט עשרוני מלא, אפשר להריץ אותו מקומית כמעט על כל כרטיס מסך מודרני, ואפילו על מעבד רגיל אם עובדים עם אצוות קטנות. ההרצה נעשית ישירות דרך ספריית הטרנספורמרס של הגאפינג פייס בפייתון באמצעות צינור עבודה ייעודי או טעינה רגילה של המודל והמעבד.
אם אתם צריכים רק חיתוך של נקודה בודדת בזמן אמת, ההרצה המקומית קלה מאוד ולא דורשת שרת ייעודי כבד. כשעוברים לחיתוך אוטומטי של תמונה מלאה בריבוי נקודות, העסק הופך לתובעני בחישוב, ושם שווה לבדוק הקצאת שרת נפרד כדי לא לחנוק את המכונה המקומית.
from transformers import pipeline
pipe = pipeline("mask-generation", model="facebook/sam-vit-base")
print(pipe("שלום"))הקבצים
7 קבצים במאגר, 1.0 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות את הקוד ולהפיץ אותו כחלק ממוצר סגור, בתנאי ששומרים על הודעות זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים