sam-hq

מה זה

מעלים תמונה לתוך הממשק ומקבלים מסיכות חיתוך ויזואליות שמוצגות בגלריה. אפשר להקליד טקסט באנגלית כמו bench כדי שהמערכת תאתר ותסמן את העצם המבוקש, או לבחור סוגי משימות אחרים בתפריט. מתחת למכסה המנוע רצה שרשרת שלמה של כלים שכוללת את המודל lkeab/hq-sam לחיתוך באיכות גבוהה, לצד GroundingDINO לאיתור אובייקטים לפי טקסט ו־BLIP לתיאור תמונות. הקוד טוען גם מודלים של שפה כמו bert-base-uncased ו־roberta-base לצורך עיבוד ההנחיות.

הממשק כולל שמונה דוגמאות מוכנות מראש בקבצים שנקראים example0.png עד example7.png, שמציגות חיתוכים שונים לבדיקה מהירה. בנוסף, יש הגדרות מתקדמות שמאפשרות לכוונן ספי רגישות לתיבות איתור, התאמת טקסט וחפיפה כדי לשלוט בדיוק של התוצאה הסופית שמוחזרת למסך.

מתאים ל

• חיתוך אובייקטים לפי מילים

  כותבים מה לחפש בתמונה ומקבלים מסיכה מדויקת סביב האובייקט בעזרת GroundingDINO ו־HQ-SAM.

• בדיקת איכות של HQ-SAM

  משווים בין מסיכות רגילות לחיתוך באיכות גבוהה באמצעות בחירת אפשרויות הטוקן בממשק.

• בחינת דוגמאות מוכנות

  טוענים תמונות מובנות כדי לראות איך המערכת מתמודדת עם קווי מתאר שונים בלי להעלות קבצים.

איפה זה נופל

הבעיה המרכזית כרגע היא שהמרחב מושהה ולא פעיל ישירות בלחיצה. בנוסף, חומרת מעבד בסיסית חלשה מדי עבור שילוב של GroundingDINO ו־HQ-SAM, מה שיוביל לזמני המתנה ארוכים מאוד בכל שאילתה. ההדגמה גם דורשת הנחיות טקסט באנגלית בפורמט מסוים כדי שהזיהוי יעבוד כמו שצריך, ולא תמיד תתפוס עצמים מורכבים בלי כוונון ידני של הסליידרים.

איך משתמשים

כדי להתחיל, בוחרים דוגמה או מעלים תמונה, בוחרים סוג משימה בתפריט, מקלידים הנחיית טקסט ולוחצים על Run. המרחב נמצא כרגע במצב PAUSED על חומרת cpu-basic, כך שהוא לא ירוץ מיד בדפדפן בלי שמישהו יפעיל אותו מחדש. אם מפעילים אותו, הרצה על מעבד רגיל של שילוב מודלים כבד כזה תיקח זמן מורגש בכל פעולה.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0 שמאפשר שימוש חופשי בקוד, כולל התאמה ושימוש מסחרי לפי תנאי הרישיון. התמונות שאתם מעלים עוברות עיבוד בשרת שמריץ את המרחב, ולכן לא מומלץ להעלות חומרים רגישים או פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗