visual-dataset-explorer

מה זה

מזינים שאילתת טקסט ומשלבים דוגמאות בודדות כדי למשוך את התמונות הכי רלוונטיות מתוך מאגר נתונים. במקום להסתמך רק על מילים או רק על דמיון חזותי, מקבלים תוצאות שמשלבות את שני הכיוונים ישירות מתוך הדאטה.

מאחורי הקלעים רצים מודלי CLIP שונים לפי בחירה. הקוד טוען את המודל הבסיסי של OpenAI, לצד גרסה רב-לשונית של XLM-Roberta ודגם ייעודי לתצלומי אוויר ולוויין. החיבור לבסיס הנתונים נעשה ישירות מול שרת ClickHouse, משם נשלפות התמונות והווקטורים שלהן.

מתאים ל

• חיפוש תמונות רב-לשוני

  איתור תמונות מתוך המאגר באמצעות טקסט בשפות שונות בעזרת מודל M-CLIP הייעודי.

• סינון תצלומי אוויר

  חיפוש ממוקד בתוך מאגרי צילומי לוויין עם הדגם שאומן על סט הנתונים RSICD.

• למידה מדוגמאות בודדות

  מציאת פריטים דומים במאגר על ידי שילוב של תיאור מילולי יחד עם תמונות בודדות כרפרנס.

איפה זה נופל

האפליקציה רצה על חומרת מעבד חלשה, כך שחישוב וקטורים בזמן אמת עלול להיות אטי מאוד בהשוואה לסביבת עבודה עם כרטיס מסך. בנוסף, מודל הלוויין מוגבל לסוג מסוים של צילומים ולא יעזור בתמונות רגילות, והקוד מחובר ישירות למסד נתונים מוגדר מראש כך שאי אפשר פשוט לזרוק פנימה תיקיית תמונות פרטית מהמחשב.

איך משתמשים

פותחים את הדפדפן, בוחרים מודל מתוך האפשרויות, מקלידים חיפוש או בוחרים דוגמאות ומריצים. הממשק רץ על מעבד בסיסי בלי מאיץ גרפי, ובנוסף הוא נמצא כרגע במצב שינה. זה אומר שלחיצה ראשונה תדרוש המתנה של דקה או שתיים עד שהשרת יתעורר ויטען את המודלים לזיכרון.

הרישיון

לא דווח רישיון לפרויקט. המשמעות היא שאין הרשאה ברורה להשתמש בקוד לפרויקטים מסחריים או להעתיק חלקים ממנו, ורצוי להתייחס לכל העסק כהדגמה בלבד בלי להעלות מידע רגיש.

הרישיון המלא ב־Hugging Face ↗