Qwen2-VL-Detection

מה זה

אתם מעלים תמונה, בוחרים מודל מתוך התפריט ומקלידים הוראה שכוללת את המילה detect יחד עם תיאור האובייקט שאתם מחפשים. אפשר לערוך גם את הוראת המערכת שקובעת למודל להחזיר קואורדינטות בפורמט ספציפי של תיבות מנורמלות לאלף על אלף פיקסלים.

מאחורי הקלעים רצים המודלים Qwen2-VL-7B-Instruct או גרסת 2B הקלה יותר, לצד מעבדי התמונה התואמים שלהם. הקוד מפענח את הפלט הטקסטואלי של המודל, מחלץ את המספרים של התיבות באמצעות ביטויים רגולריים, ומצייר אותן ישירות על גבי התמונה בעזרת ספריית PIL.

הממשק מציג שלושה פלטים נפרדים: הטקסט הגולמי שהמודל פלט, רשימת התיבות המפוענחת במספרים, והתמונה המסומנת עצמה. יש גם דוגמאות מובנות מראש עם תוצאות שמורות בזיכרון המטמון לבדיקה מיידית.

מתאים ל

• איתור עצמים לפי תיאור

  סימון מיקום מדויק של חפצים ספציפיים בתמונה בעזרת הנחיה טקסטואלית פשוטה.

• השוואת גדלי מודלים

  בדיקת ההבדלים בדיוק הזיהוי בין גרסת 7B לגרסת 2B על אותן תמונות.

• חילוץ קואורדינטות

  קבלת ערכי מיקום מדויקים של תיבות תוחמות מנורמלות לשימוש בפיתוח נוסף.

איפה זה נופל

הפענוח נשען כולו על חילוץ טקסט בעזרת ביטוי רגולרי מהתשובה של המודל. אם המודל מפספס את מבנה הסוגריים המרובעים שהוגדר לו בהנחיה, הקוד לא יצליח לצייר את התיבות והתמונה המסומנת תישאר ריקה. בנוסף, חובה להשתמש במילה detect בהוראה, והממשק לא מיועד לעיבוד קבצי וידאו או זיהוי במספר רב של תמונות ברצף.

איך משתמשים

טוענים תמונה, כותבים מה לזהות ולוחצים על כפתור Submit. אין צורך בהתחברות או בהרשמה כדי להתחיל לעבוד. ההרצה מתבצעת על גבי חומרת zero-a10g שמקצה כרטיס גרפי A10G בעת קריאה. המעבד הגרפי הזה מספק זמני תגובה מהירים, אך בעומסים ייתכן שתמתינו כמה שניות להקצאת החומרה או בתור של Spaces.

הרישיון

הפרויקט מפורסם תחת רישיון MIT שמאפשר שימוש חופשי, העתקה ושינוי קוד. הקבצים והתמונות שאתם מעלים נשלחים לשרתי Hugging Face לצורך העיבוד על החומרה המשותפת, לכן לא מומלץ להעלות מידע רגיש או פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗