evf-sam2

מה זה

אתם מעלים תמונה או סרטון, כותבים בתיבת הטקסט מה אתם מחפשים, ומקבלים את הקובץ עם מסכה שמסמנת בדיוק את האובייקט שביקשתם. הממשק מחולק לשתי לשוניות נפרדות, אחת לתמונות ואחת לווידאו, ויש בהן תיבת סימון שמתייחסת לסוג הסגמנטציה ודוגמאות מוכנות מראש לבדיקה מהירה.

מאחורי הקלעים רץ המודל YxZhang/evf-sam2-multitask, שמשלב עיבוד ויזואלי יחד עם Salesforce/BLIP ורכיבי BEiT-3 לעיבוד הטקסט. הקוד מפעיל גרסאות ייעודיות לתמונות ולסרטונים שמבוססות על SAM 2, כדי לעקוב אחרי העצם המבוקש לאורך הפריימים על פי התיאור המילולי שסיפקתם.

מתאים ל

• סימון עצמים בתמונות

  מעלים תמונה, מקלידים תיאור של פריט מסוים ומקבלים מסכה מדויקת סביבו ללא סימון ידני.

• מעקב מילולי בווידאו

  מאתרים אובייקט נע לאורך קליפ קצר על ידי כתיבת שמו, לקבלת סרטון מתוקשר עם סימון רציף.

• בדיקת יכולות SAM 2

  בוחנים ישירות בדפדפן איך שילוב מודלי שפה ותמונה מתמודד עם תיאורים מורכבים לפני פיתוח.

איפה זה נופל

ההדגמה נשענת על מודלים שאומנו באנגלית, כך שהקלדת פרומפטים בעברית צפויה להיכשל או לתת תוצאות חלקיות. בנוסף, חומרת A10G שיתופית עלולה להגביל את אורך הווידאו שאפשר להעלות בלי לחטוף שגיאת זיכרון, ואין כאן כלי עריכה מתקדמים לתיקון ידני של המסכה אם הזיהוי פספס.

איך משתמשים

בוחרים בלשונית של תמונה או וידאו, גוררים את הקובץ פנימה, מקלידים פרומפט ולוחצים על Submit. אין צורך לפתוח משתמש או להתחבר בשביל להריץ בדיקה. התשתית יושבת על חומרת Zero-A10G שמוקצית לפי דרישה, כך שתמונות מעובדות תוך שניות בודדות, אבל עיבוד וידאו עשוי לקחת יותר זמן בגלל המעבר פריים פריים. אם המעבד הגרפי היה כבוי, תיתקלו בהמתנה קצרה של כמה שניות עד שהוא מתעורר.

הרישיון

הקוד והממשק מפורסמים תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל התאמה ושימוש מסחרי בקוד עצמו. המידע והקבצים שאתם מעלים מעובדים בשרתי הפלטפורמה שמארחת את ההדגמה, ולכן לא מומלץ להעלות חומרים מסווגים או מידע אישי רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗