zero-shot-image-classification

מה זה

הממשק פשוט מאוד ומבקש שני דברים בלבד: קובץ תמונה ותיבת טקסט עם מילים מופרדות בפסיקים. לפי הקוד, בדוגמה המובנית מופיעה תמונה בשם dog.jpg לצד התוויות dog, cat, bird. לאחר השליחה מקבלים התאמה בין התמונה לכל אחת מהאפשרויות שהגדרתם.

מאחורי הקלעים רץ הצינור של transformers עם המודל openai/clip-vit-base-patch32. המודל הזה מחשב קרבה וקטורית בין הייצוג של התמונה לבין הטקסטים שהזנתם, וכך הוא מחליט איזו תווית הכי מתאימה בלי לעבור אימון ייעודי על הקטגוריות שלכם.

מתאים ל

• בדיקת תוויות לתמונות

  בודקים איך קליפ מסווג תמונה בודדת מול כמה אפשרויות שונות שכותבים במקום.

• השוואת חיות ועצמים

  מזינים חלופות נפוצות כמו כלב, חתול וציפור כדי לבחון את רמת הביטחון של המודל.

• היכרות עם zero shot

  רואים בפועל איך עובד מיון תמונות שלא נשען על קטגוריות קבועות מראש.

איפה זה נופל

ההדגמה מוגבלת לחלוטין בגלל שגיאת ריצה שמונעת ממנה לעבוד כרגע. מעבר לכך, היא מריצה מודל בסיסי של קליפ שלא אומן על עברית, כך שתוויות בעברית כנראה יתנו תוצאות גרועות. הממשק גם לא מציע התאמות סף או זיהוי של מספר עצמים במקביל בתוך אותה תמונה.

איך משתמשים

טוענים תמונה מהמחשב, מקלידים תוויות באנגלית ולוחצים על שליחה. האפליקציה מוגדרת על חומרת מעבד בסיסית, כך שהעיבוד לוקח כמה שניות לכל תמונה ולא קורה מיד. נכון לעכשיו היא נמצאת במצב של שגיאת ריצה, ולכן לא בטוח שתצליחו להפעיל אותה בדפדפן בלי שהיוצר יתקן את הקוד תחילה.

הרישיון

לא דווח רישיון לפרויקט הזה. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד, ומבחינת הקבצים שמעלים, הם נשלחים ישירות לשרתי האפליקציה לצורך העיבוד.

הרישיון המלא ב־Hugging Face ↗