resul-ai/comparing-captioning-models

מה זה

אתם מעלים קובץ תמונה בודד או בוחרים מתוך דוגמאות מוכנות של חתולים, תמרור עצור או אסטרונאוט, ומקבלים חמש תיבות טקסט במקביל. כל תיבה מציגה תיאור מילולי שנבנה על ידי מודל אחר, כך שקל לראות את הבדלי הדיוק והסגנון ביניהם.

מאחורי הקלעים רצים חמישה מודלים שונים: שתי גרסאות של GIT מבית מיקרוסופט שאומנו על COCO, שתי גרסאות של BLIP של Salesforce, ומודל שמחבר בין Vision Transformer לבין GPT2. כולם מקבלים את הפיקסלים של התמונה ומנסים לייצר משפט שלם שמתאר מה רואים בה.

מתאים ל

• השוואת דיוק בתיאור

  בדיקת איכות התיאור של חמישה מודלים מול אותה תמונה בדיוק.

• בחירת מודל לפרויקט

  החלטה אם להשתמש בגרסת בסיס קלה או בגרסה גדולה של BLIP או GIT.

• בדיקת תיאורי תמונות פשוטים

  קבלת תיאור באנגלית לתמונות עצמים יומיומיות כמו חיות או תמרורים.

איפה זה נופל

הבעיה המרכזית כרגע היא סטטוס שגיאת הריצה, שמונע מהיישום לעבוד בפועל בדפדפן. מעבר לכך, כל המודלים האלה מפיקים טקסט באנגלית בלבד, ואין כאן תמיכה בעברית או במשימות מורכבות כמו מענה על שאלות חופשיות מתוך התמונה.

איך משתמשים

לוחצים על העלאת תמונה או בוחרים באחת הדוגמאות, ולוחצים על כפתור השליחה. אין צורך לפתוח חשבון או להתחבר.

הקוד רץ על חומרת מעבד בסיסית, מה שאומר שעיבוד של חמישה מודלים בזה אחר זה ייקח זמן ולא יחזור מיד. בנוסף, נכון לעכשיו מדווחת שגיאת ריצה בדף, כך שההדגמה עלולה שלא להגיב כלל עד שבעל הפרויקט יתקן אותה.

הרישיון

הפרויקט לא מדווח על רישיון שימוש בקוד או בהדגמה. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד עצמו, וכדאי לבדוק את הרישיונות הנפרדים של משקלי המודלים של מיקרוסופט וסיילספורס לפני שמשלבים אותם.

הרישיון המלא ב־Hugging Face ↗