EVACLIP

מה זה

בממשק מעלים תמונה ומקלידים שמות של תוויות או תיאורים קצרים באנגלית שמופרדים בפסיקים. בצד השני מקבלים שני לוחות של תוצאות, שכל אחד מהם מציג את שלוש ההתאמות המובילות באחוזים. דוגמת ברירת המחדל מציגה תמונת חתול עם אפשרויות בחירה בין חתול על שולחן לחתול על עץ.

מאחורי הקלעים הכלי מריץ מודלים של סיווג אפס צעדים שמשלבים ראייה ושפה. בצד אחד רץ המודל העצום BAAI/EVA-CLIP-8B, ובצד השני רצים המודלים המוכרים יותר של OpenAI, בהם clip-vit-base-patch16 או clip-vit-large-patch14, כדי לבדוק איך גודל המודל משפיע על הדיוק בהבנת התמונה מול הטקסט.

מתאים ל

• השוואת מודלי ראייה

  בדיקה מהירה של יכולות הזיהוי של EVA-CLIP מול המודלים הוותיקים של CLIP על אותה תמונה.

• סיווג תמונות ללא אימון

  בחינת תוויות טקסט שונות עבור תמונה ספציפית כדי לראות איזה תיאור מקבל ניקוד גבוה יותר.

• בדיקת תיאורים מורכבים

  הזנת משפטים שלמים במקום מילים בודדות כדי לבדוק אם המודל מזהה את הקשר הפעולה בתמונה.

איפה זה נופל

הבעיה המיידית היא שהמרחב פשוט שבור ולא עובד כרגע בגלל שגיאת ריצה. מעבר לזה, הממשק מחזיר רק את שלוש התוצאות המובילות לכל מודל, כך שאי אפשר לבחון התפלגות מלאה של עשרות תוויות בבת אחת. המודלים האלה מבוססים על אנגלית, ולכן הזנת תוויות בעברית תוביל לתוצאות גרועות או לשגיאות זיהוי מוחלטות.

איך משתמשים

טוענים תמונה לקובייה השמאלית, מקלידים את התוויות בתיבת הטקסט ולוחצים על Run. המערכת מוגדרת לרוץ על מעבד גרפי מסוג zero-a10g שמספק חישוב מהיר מאוד, אבל בפועל המרחב נמצא כרגע במצב של שגיאת ריצה (RUNTIME_ERROR). המשמעות היא שנכון לעכשיו לא ניתן להריץ את ההשוואה ישירות בדפדפן בלי שהיוצר יתקן את הקוד.

במצב פעיל אין צורך להתחבר או להירשם. הגישה חופשית לגמרי דרך הדפדפן, והדוגמה המובנית נשמרת מראש במטמון כדי לחסוך זמן חישוב ראשוני.

הרישיון

הקוד מפורסם תחת רישיון apache-2.0 המאפשר שימוש מסחרי, שינוי והפצה של הקוד. עם זאת, התמונות והטקסטים שאתם מעלים עוברים דרך השרת של המרחב ברשת, לכן לא מומלץ להזין תמונות פרטיות או מידע רגיש.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗