comparing-captioning-models

מה זה

אתם מעלים קובץ תמונה, לוחצים על כפתור ומקבלים שישה שדות טקסט שונים, אחד לצד השני. כל שדה מציג כיתוב שנוצר על ידי מודל אחר: GIT-large שעבר התאמה על COCO, גרסת BLIP-large, שני מודלים של BLIP-2 עם גדלים של OPT 6.7B ו־T5-XXL, לצד InstructBLIP ו־Fuyu-8B.

בקוד יש שימוש במאגר הדוגמאות nielsr/textcaps-sample, כך שמופיעות דוגמאות מובנות מראש בממשק שאפשר לבדוק מיד. במקום להריץ את כל המשקלים הכבדים בעצמה, התוכנה פונה דרך gradio_client לחללי עבודה חיצוניים שמריצים כל מודל בנפרד, ומציגה את התיאור שכל ארכיטקטורה הפיקה.

מתאים ל

• השוואת תיאורי תמונה

  בדיקת ההבדלים בניסוח ובפירוט בין שישה מודלי ראייה ממוחשבת על אותה תמונה בדיוק.

• בחינת יכולות OCR בסיסיות

  הרצת דוגמאות ממאגר textcaps כדי לראות איזה מודל מצליח לקרוא טקסט מתוך תמונה.

• בחירת ארכיטקטורה לפרויקט

  קבלת החלטה ראשונית איזה מודל ראייה מתאים למשימה שלכם לפני התקנה כבדה.

איפה זה נופל

אם אחד מחללי העבודה המקוריים למטה, הכלי פשוט יקפיץ אזהרה שהמודל המסוים אינו זמין ויחזיר תוצאה ריקה עבורו. מעבר לזה, אין כאן שום יכולת לשלוט בפרמטרים של ההסקה, כמו אורך הטקסט או יצירתיות, כך שאי אפשר לדעת אם התוצאה היא המקסימום שהמודל מסוגל לייצר.

איך משתמשים

גוררים תמונה לשדה הקלט או בוחרים מתוך הדוגמאות, ולוחצים על Caption. ההדגמה רצה על מעבד בסיסי, מה שאומר שהיא לא מעבדת את התמונות מקומית אלא תלויה בקריאות רשת למקורות חיצוניים. אם השרתים החיצוניים של המודלים זמינים, התוצאות חוזרות ישר למסך בלי צורך בהרשמה או התחברות.

הרישיון

הרישיון של הקוד לא דווח במאגר. בלי הגדרה ברורה של זכויות יוצרים, אי אפשר לדעת אם מותר להשתמש בקוד לפרויקטים מסחריים, ורצוי להימנע מהעלאת תמונות פרטיות או רגישות לחללים הציבוריים שמחוברים אליו.

הרישיון המלא ב־Hugging Face ↗