taesiri/CLIPSeg
רץ בדפדפןtaesiriרישיון לא דווח2023-01-26
העלאת תמונה וכתיבת תיאור טקסטואלי כדי לבודד מתוכה אובייקטים ולקבל מסכה מדויקת. מתאים למי שרוצה לבדוק סגמנטציה מהירה בלי לכתוב שורת קוד אחת.
- —הורדות בחודש
- 40לייקים
מה זה
מעלים תמונה לתוך הממשק ומקלידים בתיבת הטקסט באנגלית את מה שרוצים למצוא. מאחורי הקלעים רץ המודל CIDAS/clipseg-rd64-refined, שמבוסס על ארכיטקטורת CLIP ומבצע חיתוך וזיהוי של עצמים בתמונה לפי טקסט חופשי, בלי צורך באימון מראש על קטגוריות קבועות מראש.
בצד הפלט מקבלים שלושה דברים שונים לבחינה: תרשים שמציג את מפת החום של הזיהוי, תמונת מסכה מבודדת בשחור ולבן, ותמונה סופית שמציגה את התוצאה המעובדת. הממשק מציע גם דוגמאות מובנות שאפשר לטעון בלחיצה אחת, שמאפשרות לראות איך המודל מתמודד עם תמונות שונות וטקסטים שונים עוד לפני שמעלים קובץ מהמחשב האישי.
בנוסף להזנת הטקסט והתמונה, אפשר לשחק עם סליידרים כמו שקיפות האלפא של השכבה המוצגת, ולסמן תיבה שמורה לקוד לצייר מלבנים תוחמים סביב האזורים שזוהו בתמונה.
מתאים ל
- יצירת מסכות לתמונות
בידוד עצמים ספציפיים מתוך תמונה לפי תיאור טקסטואלי לצורך שימוש כסכמה בתוכנות עריכה.
- בדיקת יכולות CLIPSeg
בחינה מעשית של איכות הסגמנטציה של המודל על תמונות פרטיות לפני שמשלבים אותו בפיתוח.
- איתור עצמים לפי טקסט
סימון מיקום של אובייקטים בתמונה בעזרת מלבנים תוחמים ומפת חום לפי מונחי חיפוש חופשיים.
איפה זה נופל
המודל מוגבל לזיהוי לפי הנחיות באנגלית, וטקסט בעברית כנראה לא יניב תוצאות שימושיות כלל. ההדגמה מתמקדת בחיתוך של עצמים ברורים, אבל בתמונות עמוסות בפרטים קטנים או באובייקטים שמסתירים זה את זה, המסכה שנוצרת עלולה להיות מטושטשת ולא מדויקת בקצוות. בנוסף, מדובר בממשק דפדפן לבדיקת תמונה בודדת בכל פעם, שאינו מיועד לעיבוד סדרתי של כמויות קבצים גדולות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה בדפדפן פתוחה וחינמית לגמרי. אין צורך להכניס אמצעי תשלום ואין צורך לפתוח חשבון כדי לבצע בדיקות.
כמה זמן לוקח לקבל תוצאה?
התוצאות מופיעות בתוך שניות בודדות מרגע הלחיצה על כפתור העיבוד. האפליקציה משתמשת במאיץ A10G שמבצע את החישוב של המודל במהירות.
האם אפשר להריץ את זה מקומית על המחשב?
כן, הקוד טוען את המודל ישירות מספריית transformers של פייתון. כל אחד יכול להוריד את המשקלים של clipseg-rd64-refined ולהריץ אותם על כרטיס מסך מתאים במחשב שלו.
במה הדף הזה שונה משימוש ישיר במודל?
הדף מספק מעטפת גרפית מוכנה עם כפתורים, תצוגת מפות חום וציור מלבנים. שימוש ישיר במודל דורש כתיבת קוד פייתון כדי להזין קלטים ולטפל בתמונות ובמערכים שיוצאים ממנו.
איך משתמשים
גוררים תמונה לתיבת הקלט, כותבים מה לחפש בתיאור הטקסט, ומקליקים על כפתור Process. אם רוצים לשנות את התצוגה, מכוונים את סליידר האלפא או מסמנים את האפשרות לציור מלבנים תוחמים סביב האובייקט עוד לפני הלחיצה. אין כאן שום דרישה להתחבר עם חשבון משתמש כדי להריץ בדיקה.
העיבוד מתבצע על חומרת zero-a10g בשרתים, מה שאומר שהרצת המודל מהירה מאוד על מאיץ גרפי חזק, ולפי ההסבר התוצאות אמורות להופיע בתוך שניות בודדות. בגלל שמדובר במשאב שיתופי שמקצה חומרה לפי דרישה, ייתכן שתמתינו רגע קצר לעליית המעבד אם המערכת הייתה במצב שינה.
הרישיון
הרישיון של המרחב הזה לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה רשמית וברורה לשימוש מסחרי בקוד הממשק, וכל מה שמעלים עובר דרך השרתים שמארחים את ההדגמה.