ov-seg

מה זה

אתם מעלים תמונה ומקלידים רשימת שמות עצם באנגלית מופרדים בפסיקים, כמו בדוגמה המובנית שמחפשת פרחים, צעצועים ושולחן באותו החדר. בוחרים מודל לחיתוך האזורים מתוך שתי אפשרויות, MaskFormer או Segment Anything, ומכוונים סליידר שקובע כמה המסכות יהיו מדויקות או גסות בין אפס לאחד.

הקוד משתמש בספריית detectron2 ומחזיר תמונה אחת צבועה במפת סגמנטציה שמציגה איפה יושב כל עצם שביקשתם. המטרה כאן היא לבדוק סגמנטציה באוצר מילים פתוח, כלומר היכולת לחבר בין טקסט חופשי לחלקים מסוימים בצילום בלי לאמן את המערכת מחדש על התוויות האלה.

מתאים ל

• איתור עצמים חופשי בתמונות

  זיהוי וצביעה של פריטים לפי טקסט חופשי, כמו חלקי ריהוט או פרחים ספציפיים.

• השוואת מנועי גזירה

  בדיקת ההבדלים באיכות החיתוך בין Segment Anything לבין MaskFormer על אותה התמונה.

• הפקת מסכות גסות או חדות

  שליטה ברמת הפירוט של המסכה בעזרת סליידר כדי לבודד פריט שלם או פרטים קטנים.

איפה זה נופל

הבעיה המיידית היא שההדגמה מרוסקת לחלוטין במצב שגיאה, כך שלא תוכלו לבדוק שום קובץ ישירות באתר. חוץ מזה, המודל נשען על קלט באנגלית בלבד, וסביר להניח שלא יזהה מונחים בעברית בלי תרגום.

מי שבונה על התוצאות צריך לזכור שחיתוך מבוסס טקסט חופשי מתקשה לפעמים להפריד בין מושגים קרובים או עצמים שחופפים זה לזה, במיוחד כשהסליידר מכוון לערכים נמוכים מדי שמייצרים מסכות גסות.

איך משתמשים

במצב תקין הממשק פשוט מאוד. גוררים תמונה לקובייה, כותבים שמות עצם בתיבת הטקסט, מגדירים את הדיוק בסליידר ולוחצים להרצה. המערכת רצה מאחורי הקלעים על כרטיס גרפי t4-medium וכוללת תור מובנה לטיפול בבקשות עמוסות.

בפועל, כרגע העמוד מדווח על תקלת הרצה והוא פשוט לא עובד בדפדפן. אי אפשר לקבל תוצאה בלי שהמפתחים יתקנו את הסביבה או שתורידו את הקוד ותריצו אותו אצלכם.

הרישיון

הפרויקט מפורסם תחת רישיון cc-by-nc-4.0. הרישיון הזה מתיר שימוש, מחקר והרצה רק למטרות לא מסחריות, ומחייב מתן קרדיט למפרסמים. אם תכננתם לשלב את הקוד או את הפלטים שלו במוצר עסקי, תצטרכו לחפש פתרון אחר.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗