VLM-R1-Referral-Expression

מה זה

אתם מעלים תמונה ומקלידים תיאור של מה שאתם מחפשים בתוכה. הפלט כולל שני חלקים: תיבת טקסט שמציגה את תהליך החשיבה וההסקה של המודל, ותמונה שבה מסומנת תיבה תוחמת סביב האובייקט שזוהה.

מאחורי הקלעים רץ המודל SZhanZ/Qwen2.5VL-VLM-R1-REC-step500, שמבוסס על ארכיטקטורת Qwen2.5-VL ומאומן במיוחד על משימות של ביטויי הפניה חזותיים. דוגמאות הממשק מציגות פניות ישירות כמו אדם עם חולצה כחולה, לצד בקשות מורכבות יותר שדורשות שיקול דעת, כמו האוכל עם כמות החלבון הגבוהה ביותר או המחשב הנייד הזול ביותר של אפל.

מתאים ל

• איתור פריט לפי תיאור חופשי

  סימון אובייקט ספציפי בתמונה על בסיס צבע או מאפיין, כמו מציאת אדם שלובש חולצה כחולה.

• חילוץ פריט מתוך השוואה

  ניסיון לאתר פריט שעונה על קריטריון יחסי, למשל זיהוי המוצר הזול ביותר בתצוגת מדף.

• בדיקת הסקת מסקנות חזותית

  מעקב אחר שרשרת ההסקה הטקסטואלית שהמודל פולט בדרכו לקביעת מיקום האובייקט.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה עצמה לא עובדת ברשת וקורסת עם שגיאת מערכת. מעבר לזה, ההדגמה מוגדרת על חומרת מעבד בסיסית ודורשת הרחבת חומרה, כך שגם אם תחזור לפעול, זמני העיבוד של מודל ראייה כזה עלולים להיות איטיים מאוד. כמו כן, הדוגמאות מציגות משימות השוואתיות של מחיר ותוכן תזונתי, אבל אמינות ההסקה בדברים האלה תלויה לחלוטין באיכות הטקסט והפרטים שנראים בפועל בתמונה.

איך משתמשים

בממשק מעלים קובץ תמונה, כותבים את התיאור בשדה המיועד ולוחצים להרצה. עם זאת, נכון לעכשיו אי אפשר להשתמש בהדגמה הזו בדפדפן, כי היא נמצאת במצב של שגיאת ריצה על תשתית המעבד הבסיסית שעליה הוגדרה. מי שרוצה להריץ אותה צריך לשכפל את הקוד או להשתמש במודל ישירות.

הרישיון

הרישיון לא דווח בעמוד של הפרויקט. כשאין רישיון מוצהר, אין היתר שימוש ברור לקוד או לפלטים, במיוחד אם אתם בונים על שימוש מסחרי. מומלץ לבדוק את מאגר הגיטהאב של VLM-R1 לפני כל שילוב בפרויקט משלכם.

הרישיון המלא ב־Hugging Face ↗