GPT
V

vlm_object_understanding

רץ בדפדפן

sergiopaniegoapache-2.02025-06-27

  • gradio

הדגמה שמשווה בין שני מודלי ראייה קטנים בזיהוי עצמים, תיאור תמונה ומענה לשאלות. היא מתאימה למי שרוצה לבדוק יכולות של מודלי שפה חזותיים על תמונה אחת זו לצד זו.

  • הורדות בחודש
  • 123לייקים

מה זה

אתם מעלים תמונה, בוחרים קטגוריית משימה כמו זיהוי עצמים, הצבעה על נקודה, תיאור או שאילתה חופשית, ומקבלים השוואה חזותית וטקסטואלית בין שני מודלים שונים. המערכת מציגה בכל צד את התמונה המסומנת בתיבות או נקודות יחד עם התשובה המילולית שנוצרה.

מאחורי הקלעים רצים Qwen3-VL-4B-Instruct לצד moondream3-preview, תוך שימוש בספריית supervision כדי לצייר את הסימונים ישירות על גבי הפלט. דוגמאות הממשק מציעות משימות כמו ספירת מכוניות, תיאור כללי של תמונה, או משימות איתור והצבעה ממוקדות על אובייקטים.

מתאים ל

  • השוואת ביצועי ראייה

    בדיקת ההבדלים בין מודל Qwen לבין Moondream על אותה תמונה.

  • איתור עצמים בתמונה

    סימון תיבות תוחמות סביב אובייקטים ספציפיים לפי בקשת טקסט.

  • מענה ויזואלי לשאלות

    ספירת פריטים או קבלת תיאור מילולי מפורט של מה שמופיע בתמונה.

איפה זה נופל

אם תשכחו להעלות תמונה או להזין טקסט, הממשק פשוט יזרוק שגיאה ולא ינסה לנחש למה התכוונתם. שני המודלים המוצגים קומפקטיים למדי, כך שהם עלולים לפספס אובייקטים מורכבים או צפופים, וההדגמה מוגבלת רק לתבניות ולמשימות שהוגדרו מראש בקוד מבלי לאפשר כוונון של פרמטרי יצירה.

שאלות
נפוצות

האם השימוש באפליקציה עולה כסף?

לא, הגישה חופשית לגמרי דרך הדפדפן. אין צורך להכניס אמצעי תשלום ואין מגבלת שימוש קשיחה שמוצגת בעמוד. כל עוד השרת זמין, אפשר לבדוק תמונות בחופשיות.

מה קורה עם התמונות שאני מעלה?

התמונות נשלחות ישירות לזיכרון הריצה של השרת לצורך העיבוד הנוכחי. הן משמשות את המודלים להפקת התשובות והסימונים באותו רגע. הקוד לא כולל מנגנון שמירת קבצים חיצוני או מסד נתונים.

כמה זמן לוקח לקבל תוצאה?

העיבוד לוקח שניות בודדות הודות למאיץ מדגם A10G שמוקצה לביצוע המשימה. אם השרת היה במצב שינה, ייתכן עיכוב קצר של כמה שניות נוספות עד להפעלתו. ברגע שהמעבד הגרפי פעיל, שני המודלים מסיימים לעבד כמעט מיד.

האם אפשר להריץ את זה על המחשב שלי?

כן, הקוד מבוסס על ספריות סטנדרטיות וזמין תחת רישיון פתוח. תצטרכו כרטיס מסך עם מספיק זיכרון כדי להחזיק את שני המודלים במקביל. התקנה מקומית תדרוש את ספריות transformers ו־gradio.

איך משתמשים

טוענים תמונה בצד שמאל, בוחרים קטגוריה, כותבים הנחיה או בוחרים מבין ההצעות, ולוחצים על כפתור ההשוואה. הריצה מתבצעת על מעבד גרפי מדגם A10G דרך תשתית ZeroGPU, כך שהעיבוד מהיר אבל עשוי לדרוש המתנה קצרה אם הכרטיס מוקצה למשתמש אחר באותו רגע. אין צורך בהתחברות או בהרשמה מראש כדי להריץ את הדוגמאות או תמונות שלכם.

הרישיון

הקוד מופץ תחת רישיון apache-2.0 שמאפשר שימוש חופשי, שינוי והפצה. התמונות שאתם מעלים והפלטים שנוצרים מעובדים בזמן אמת בשרת ואינם מוגדרים כנשמרים על פי הקוד.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗