Image-Caption

מה זה

אתם מעלים קובץ תמונה רגיל דרך ממשק פשוט, ומקבלים תיבת טקסט עם משפט שמתאר את מה שהמודל זיהה בתוכן. בממשק יש שש תמונות לדוגמה שמגיעות מוכנות מראש, כדי שאפשר יהיה לבדוק איך הוא מגיב בלי להעלות קובץ מהמחשב.

מאחורי הקלעים רץ המודל nlpconnect/vit-gpt2-image-captioning. הוא מחבר בין Vision Transformer שמנתח את הפיקסלים ואת העצמים בתמונה, לבין GPT-2 שמייצר את המשפט המילולי באנגלית. זה מבנה ישיר של מפענח ומקודד שלא מנסה לנחש מעבר למה שמופיע בפריים.

מתאים ל

• בדיקת המודל

  רואים איך שילוב של ViT ו־GPT-2 מתמודד עם תמונות פשוטות.

• בחינת תמונות הדוגמה

  מריצים שש תמונות מובנות כדי לראות את איכות התיאור בלי להעלות קבצים.

• הערכת תיאור ויזואלי

  בודקים אם מודל קוד פתוח בסיסי מספיק לייצור כתוביות אוטומטיות לתמונות.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה תקועה על שגיאת ריצה ולא מייצרת פלט. גם כשהיא עובדת, המודל הזה מתאר סצנות באנגלית בסיסית בלבד ולא מזהה עברית. הוא מתקשה בהבנת הקשרים מורכבים ונוטה להפיק משפטים גנריים כשהתמונה עמוסה בפרטים.

איך משתמשים

בפועל גוררים תמונה לחלון הקלט ולוחצים על שליחה, בלי צורך להירשם או להתחבר. השרת מוגדר על מעבד בסיסי, cpu-basic, כך שעיבוד כזה לוקח בדרך כלל כמה שניות טובות לכל קובץ. נכון לעכשיו העמוד נמצא במצב של תקלת ריצה, ולכן אי אפשר להשתמש בו ישירות בדפדפן עד שהמפתח יתקן את הקוד.

הרישיון

היוצר לא הגדיר רישיון לפרויקט הזה. המשמעות היא שאין אישור מפורש לשימוש מסחרי בקוד או בפלט, ולא ידוע מה המדיניות לגבי שמירת התמונות שמעלים לשרת.

הרישיון המלא ב־Hugging Face ↗