Florence-2-Image-Caption

מה זה

אתם מעלים קובץ תמונה ומקבלים בתיבת טקסט פסקה שמתארת בפירוט מה רואים בה. הממשק נותן לבחור בין שתי גרסאות של המודל של מיקרוסופט, גרסת הבסיס הקטנה או גרסת הלארג' הגדולה יותר. בקוד יש גם רשימת דוגמאות מובנית שאפשר לטעון בלחיצה כדי לראות איך זה עובד בלי להעלות קובץ מהמחשב.

מאחורי הקלעים רצים המודלים microsoft/Florence-2-base ו־microsoft/Florence-2-large דרך ספריית transformers. הקוד מריץ עליהם פרומפט קבוע מסוג MORE_DETAILED_CAPTION, מעבד את הפלט של המודל ומחזיר רק את התיאור המפורט שהתקבל, בלי אפשרות לשנות את סוג המשימה או לבקש ניתוח אחר.

מתאים ל

• בדיקת איכות המודל

  השוואה מהירה בין ביצועי גרסת הבסיס לגרסה הגדולה על אותה תמונה.

• יצירת תיאורים לתמונות

  חילוץ פסקת תיאור מפורטת באנגלית מתמונה קיימת לשימוש בתוכנות אחרות.

• התנסות ללא קוד

  בדיקת יכולות הראייה של מיקרוסופט ישירות בדפדפן בלי לכתוב שורת פייתון.

איפה זה נופל

היישום מוגבל לפעולה אחת בלבד, תיאור מפורט. המודל של מיקרוסופט יודע במקור לזהות מיקומי אובייקטים, לקרוא טקסט מתוך תמונה ולענות על שאלות, אבל כאן הקוד מקובע למשימה בודדת. בנוסף, הריצה על מעבד בסיסי מאיטה את קבלת התשובה, ולא מומלץ לבנות על הממשק הזה לעיבוד כמויות של תמונות.

איך משתמשים

גוררים תמונה לתיבת ההעלאה, מסמנים ברדיו איזה מודל להריץ, ולוחצים על Generate Caption. אין צורך בהרשמה או התחברות. החומרה שמריצה את היישום מוגדרת כ־cpu-basic ללא מאיץ גרפי, ומפתח היישום אף ציין במפורש בעמוד שהריצה על מעבד רגיל תהיה איטית, במיוחד כשבוחרים בגרסת הלארג'.

הרישיון

היישום מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי וקוד פתוח. לגבי התמונות שאתם מעלים והפלט שנוצר, הנתונים עוברים דרך השרת שמארח את הממשק, ולא צוינה התחייבות לפרטיות או למחיקה אוטומטית.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗