VisionScout

מה זה

אתם מעלים תמונה או קובץ וידאו לממשק, ומקבלים זיהוי אובייקטים ויזואלי יחד עם רשימת פעילויות ותיאור מילולי של הסצנה. הממשק מציג את התיאור הבסיסי שנשען על האובייקטים שנמצאו, ולצידו גרסה מורחבת שמנוסחת בשפה טבעית.

מאחורי הקלעים פועל צינור עיבוד שמחבר מודל זיהוי אובייקטים עם מודל השפה Llama-3.2-3B-Instruct של מטא. מודל השפה מקבל את רשימת העצמים שזוהו ומייצר מהם תיאור קוהרנטי ועשיר יותר של ההתרחשות, כאשר אפשר לכבות את ההרחבה הזו ולראות רק את המידע הישיר שמגיע מזיהוי התמונה עצמו.

המערכת כוללת רכיבי עיבוד נפרדים לתמונות ולווידאו, לצד מודול שמחשב מדדי הערכה על הביצועים. הפלט הסופי מוצג בדפדפן כטקסט מעוצב לצד המדיה המקורית עם הסימונים שנוספו עליה.

מתאים ל

• תיאור סצנות לתמונות

  העלאת תמונות כדי לקבל רשימת עצמים ותיאור טקסטואלי מלא של המתרחש בהן לצורכי תיוג.

• ניתוח תוכן בווידאו

  זיהוי אובייקטים ומעקב אחר פעילויות לאורך קובץ וידאו לצורך חלוקה לקטעים או בדיקת תוכן.

• השוואת תיאורי שפה

  בדיקת ההבדל בין זיהוי גולמי של עצמים לבין ניסוח מורחב שנבנה על ידי מודל שפה ייעודי.

איפה זה נופל

אם מודל הזיהוי נכשל ולא מוצא עצמים, ניתוח הסצנה כולו נתקע כי מודל השפה תלוי לחלוטין ברשימת הזיהויים הראשונית. בנוסף, מודל השפה עלול לייצר תיאור ריק או להמציא פרטים על סמך רשימת שמות העצמים בלבד, בלי לראות את התמונה בעיניים שלו.

איך משתמשים

נכנסים לעמוד בגרדיו, טוענים קובץ תמונה או וידאו, בוחרים אם להפעיל את מודל השפה לתיאור מורחב ומריצים. אין צורך בהרשמה או בהתחברות כדי להתחיל. הריצה מתבצעת על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, כך שייתכן עיכוב קצר של שניות בודדות כשהשרת מתעורר, אך העיבוד עצמו מתבצע במהירות.

הרישיון

הפרויקט מפורסם תחת רישיון apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי ושינוי הקוד. לגבי המידע שאתם מעלים, הוא עובר דרך שרתי השירות שבו הממשק מאוחסן ולכן לא כדאי להעלות קבצים רגישים או פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗