SixOpen/Florence-2-large-ft

מה זה

אתם מעלים תמונה או קובץ וידאו, בוחרים משימה מתוך רשימה סגורה, ומקבלים פלט טקסטואלי לצד סימונים גרפיים על גבי המדיה. הממשק תומך במשימות כמו הפקת כתוביות לקטעים מסוימים וסגמנטציה של ביטויים לפי טקסט חופשי. בווידאו, התוצאה מציגה סרטון מעובד עם תיבות סימון ותוצאות מפורטות לכל פריים.

מאחורי הקלעים רץ המודל microsoft/Florence-2-large-ft, גרסה מאומנת של מיקרוסופט למשימות ראייה ושפה, יחד עם שימוש במאגר huggingface/documentation-images. הקוד מסתמך על ספריות פייתון לעיבוד תמונה כמו OpenCV ו־Matplotlib כדי לצייר את התיבות והמסכות ישירות על גבי הקבצים שהעליתם.

מתאים ל

• סגמנטציה לפי תיאור

  איתור וסימון אובייקט ספציפי בתוך תמונה על בסיס משפט טקסטואלי חופשי.

• ניתוח אובייקטים בווידאו

  מעקב ויזואלי והפקת מידע טקסטואלי מפרימיים לאורך סרטון שלם.

• הפקת כתוביות לחלקי תמונה

  יצירת תיאורים ממוקדים לאזורים נבחרים בעזרת צימוד ביטויים למיקום.

איפה זה נופל

הבעיה המיידית היא שהמרחב כרגע סגור ולא מקבל קלטים. מעבר לזה, ניתוח וידאו ברמת פריים דורש כוח חישוב משמעותי, וגם כשהוא פעיל, עיבוד סרטונים מלאים עלול להיתקע או להימשך זמן רב. אין כאן מנגנון חכם לתיקון שגיאות זיהוי אם המודל מפספס אובייקט, והפלט מוגבל למשימות הראייה המוגדרות מראש בלבד.

איך משתמשים

לוחצים על הלשונית המתאימה, תמונה או וידאו, טוענים את הקובץ ובוחרים משימה מהתפריט. אם המשימה דורשת טקסט מכוון, כמו באיתור ביטוי מסוים, נפתחת תיבת הזנה ייעודית שבה מקלידים את התיאור, ואז לוחצים על כפתור השליחה.

בפועל, כרגע הדף מוגדר במצב מושהה והחומרה שלו היא מעבד בסיסי בלבד. המודל עצמו נטען בקוד ישירות לכרטיס מסך, כך שעד שהיוצר לא יפעיל אותו מחדש עם משאבים מתאימים, אי אפשר להריץ בו שאילתות.

הרישיון

הרישיון של המרחב עצמו לא דווח. המשמעות היא שאין הגדרה ברורה לגבי שימוש מסחרי בקוד הממשק, ואין פירוט לגבי מה נעשה עם המדיה שמועלית לשרת בזמן הריצה.

הרישיון המלא ב־Hugging Face ↗