chinese-clip-zero-shot-image-classification

מה זה

אתם מעלים קובץ תמונה, מגדירים רשימת מילים או תוויות בסינית, ובוחרים מודל מתוך ארבע גרסאות של Chinese CLIP, החל מגרסת הבסיס ViT-B-16 ועד גרסאות כבדות כמו ViT-H-14 או דגם שמטפל ברזולוציה של 336 פיקסלים. יש גם שדה לתבנית טקסט שבו משלבים את התווית בתוך משפט שלם בסינית לפני שהיא נשלחת לעיבוד.

הטכנולוגיה מבוססת על מודל ראייה ושפה שאומן בלמידה ניגודית על כמויות גדולות של נתונים בסינית, והקוד מריץ צינור סיווג אפס דגימות מתוך ספריית transformers. הדוגמה המובנית בממשק מציגה תמונה של פסטיבל, שבה בודקים תוויות כמו פנסים, חזיזים או כרזות חג, ומדגימה איך המודל בוחן איזה מושג מתאים יותר לתוכן הוויזואלי המוצג.

מתאים ל

• סיווג תמונות בסינית

  זיהוי מושגים ועצמים בתוך תמונות על פי רשימת תוויות מותאמת בסינית בלי אימון מוקדם.

• בדיקת גרסאות מודל

  השוואה בין ארבעת גדלי הראייה של Chinese-CLIP כדי לראות איזה דיוק מתקבל בכל גרסה.

• בדיקת תבניות טקסט

  ניסוי ניסוחים שונים של משפטי מעטפת כדי לבדוק איך ההקשר משפיע על ניקוד ההתאמה.

איפה זה נופל

ההדגמה הזו מוגבלת לשפה הסינית בלבד, ואם תכניסו טקסט בעברית או באנגלית המודל לא יתפקד כמצופה. בנוסף, היא מוגדרת במצב של שגיאת ריצה ולא זמינה בפועל לשימוש בדפדפן. אי אפשר לבנות עליה כפתרון עובד לפני שמריצים את המודלים עצמאית בסביבה שלכם.

איך משתמשים

בממשק מעלים תמונה, ממלאים את שדות הטקסט, בוחרים מודל מכפתורי הבחירה ולוחצים על שליחה. האפליקציה מוגדרת על שרת עם שדרוג מעבד, אבל נכון לעכשיו היא נמצאת במצב שגיאת ריצה כך שהיא לא תעבוד בדפדפן בלי תיקון. אם הקוד יחזור לעבוד, מודלים גדולים כמו ViT-H-14 על מעבד בלבד ידרשו זמן עיבוד ארוך.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי כולל שינוי והפצה מסחרית. המידע שתעלו עובר דרך שרתי הפלטפורמה שמארחת את הדף, כך שלא מומלץ להעלות לשם תמונות פרטיות או רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗