clip-rsicd-demo

מה זה

בממשק יש שלושה מסכים עיקריים שנטענים מקבצי הדשבורד: חיפוש תמונה לפי טקסט, חיפוש תמונה לפי תמונה, ומציאת מאפיינים ויזואליים. אתם מזינים תיאור מילולי או תמונה, ובודקים אילו תוצאות מתקבלות ממאגר צילומי הלווין והחישה מרחוק.

מאחורי הקלעים רצים שני מודלים במקביל: flax-community/clip-rsicd-v2 שעבר אימון ייעודי על סט הנתונים RSICD, ומולו clip-vit-base-patch32 הכללי של OpenAI. החלוקה הזו מציגה איך התאמה לתחום הלווייני משפיעה על דיוק השליפה לעומת מודל שראה בעיקר תמונות רשת רגילות.

מתאים ל

• חיפוש לווייני לפי טקסט

  איתור צילומי לווין מתוך RSICD על בסיס תיאור מילולי, ובדיקת הדיוק של המודל הייעודי.

• השוואת מודלים זה מול זה

  בחינת ההבדלים בין CLIP המקורי לגרסה המאומנת במשימות אחזור שונות.

• חיפוש תמונה לפי תמונה

  מציאת צילומי אוויר דומים על סמך קווי דמיון ויזואליים ומאפיינים משותפים.

איפה זה נופל

נכון לעכשיו אי אפשר להשתמש בה כלל בדפדפן, כי העמוד מדווח על שגיאת בנייה והקוד לא עולה. מעבר לזה, הממשק מוגבל למאגר RSICD הבסיסי ולא יאפשר לכם להריץ חיפוש חופשי על קטלוגים לווייניים פרטיים שלכם בלי לקחת את הקוד ולהריץ אותו עצמאית.

איך משתמשים

בפועל אתם בוחרים מסך בדפדפן, מקלידים שאילתה או מזינים תמונה, והמערכת אמורה לשלוף את התוצאות מול שני המודלים. היא מוגדרת לרוץ על מעבד בסיסי בלי מאיץ גרפי, כך שזמני החישוב איטיים יותר מחומרה ייעודית, אם כי אין צורך בהרשמה או התחברות.

הרישיון

היוצר לא הגדיר רישיון לפרויקט הזה. המשמעות היא שאין הרשאה ברורה להשתמש בקוד, להעתיק אותו לצרכים מסחריים או לדעת בדיוק איך מטופל מידע שמועלה לשם.

הרישיון המלא ב־Hugging Face ↗