ODISE
רץ בדפדפןxvjiaruiרישיון לא דווח2023-03-07
מבצע סגמנטציה פנאופטית ומזהה עצמים בתמונה לפי קטגוריות מוגדרות מראש ומילים חופשיות. מיועד לחוקרים ולמפתחים שבודקים חלוקת תמונה למקטעים פתוחי אוצר מילים.
- —הורדות בחודש
- 96לייקים
מה זה
מעלים תמונה ומקבלים מפה ויזואלית שמחלקת כל פיקסל לעצמים ולרקע. הממשק נשען על המודל ODISE, שמשלב בין חבילות כמו detectron2 ו־mask2former כדי לבצע סגמנטציה פנאופטית באוצר מילים פתוח. אפשר להשתמש בקטגוריות מוכרות ממאגרים כמו ADE20K ו־COCO, או להקליד מילים משלכם בשדה הטקסט הייעודי כדי לכוון את הזיהוי לעצמים ספציפיים שלא הוגדרו מראש.
המערכת כוללת שלוש תמונות מוכנות מראש לבדיקה מהירה, כולל דוגמה ממאגר COCO, דוגמה מ־ADE ודוגמה מ־ego4d. התוצאה המוצגת היא תמונת פלט צבעונית שבה כל מקטע מזוהה מופרד ומסומן לפי התוויות שנבחרו.
מתאים ל
- סגמנטציה של תמונות רחוב
חלוקת תמונות מורכבות למקטעי רקע ועצמים נפרדים בעזרת קטגוריות מוכנות מראש.
- זיהוי פריטים בהתאמה אישית
הקלדת מילים ספציפיות באנגלית לזיהוי עצמים שלא מופיעים במאגרי אימון סטנדרטיים.
- בדיקת איכות של מודל ODISE
השוואת ביצועי המודל על תמונות מתוך COCO ו־ADE20K ישירות מול הממשק.
איפה זה נופל
החיסרון המיידי הוא שהממשק פשוט לא עובד כרגע וקורס בהרצה. מעבר לזה, מודלים של אוצר מילים פתוח נוטים לפספס עצמים קטנים או להתבלבל כשהטקסט החופשי כולל מושגים מורכבים או מופשטים מדי. מאחר שהקוד נשען על קטגוריות מוגדרות באנגלית, הזנת תוויות בעברית כלל אינה נתמכת, ואי אפשר להסתמך על הדמו לזיהוי שמות מקומיים בלי תרגום מדויק.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע בדפדפן?
לא. המרחב נמצא במצב של תקלת ריצה ולא מגיב. צריך לחכות שמי שפרסם אותו יעדכן את התלויות או הקוד.
האם המודל מבין תוויות בעברית?
לא, המודל אומן על מאגרי מידע באנגלית ומבוסס על שמות קטגוריות ממאגרים כמו COCO ו־ADE20K. אם תקלידו מילים בעברית בשדה הטקסט הנוסף, הוא לא יזהה את העצמים.
האם אפשר להריץ את הקוד באופן מקומי?
כן, הקוד הציבורי מבוסס על ספריות מוכרות כמו detectron2 ו־mask2former וזמין לעיון. תצטרכו מחשב עם כרטיס מסך מתאים והתקנה של החבילות הנדרשות.
האם השימוש בממשק עולה כסף?
הגישה לממשק בחינם ואינה דורשת תשלום. עם זאת, כל עוד השרת של ההדגמה תקוע, לא ניתן להפיק ממנו ערך מעשי ללא פריסה עצמאית.
איך משתמשים
טוענים תמונה מהמחשב או בוחרים באחת הדוגמאות המוכנות, מגדירים קטגוריות מתוך תיבות הסימון או מקלידים מילים חופשיות, ולוחצים על Submit. בשרת מוגדר מעבד גרפי מסוג a10g-small שנועד להריץ את העיבוד במהירות סבירה יחסית למודלים כבדים של ראייה ממוחשבת. בפועל, המרחב נמצא כרגע במצב שגיאת ריצה, כך שלחיצה על הכפתור בדפדפן לא תפיק תוצאה עד שבעל הקוד יתקן את הבעיה בשרת.
הרישיון
הרישיון לא דווח בקוד או בהגדרות המרחב. ללא רישיון שימוש ברור, אין היתר מפורש לשלב את הקוד או את הפלטים ביישומים מסחריים, וכל תמונה שאתם מעלים מועברת לשרת של האפליקציה.