Pixel-Reasoner

מה זה

אתם מעלים תמונה אחת או כמה תמונות לתיבת הצ׳אט, וכותבים שאלה רגילה על מה שרואים בהן. התוצאה שחוזרת היא תשובה טקסטואלית בחלון שיחה, לצד פעולות שהמודל מחליט לבצע בעצמו על התמונות כדי לחדד את המענה.

מאחורי הקלעים רץ המודל PixelReasoner-RL-v1 של TIGER-Lab, שנשען על Qwen2-7B-Instruct ואומן על מאגר הנתונים ViRL39K. המערכת מוגדרת עם הנחיית מערכת שמאפשרת לה להפעיל כלים חיצוניים באופן עצמאי. בקוד מוגדרות שתי פונקציות מרכזיות, חיתוך וזום לפי קואורדינטות מנורמלות, ובחירה של עד שמונה פריימים מתוך סרטון וידאו.

הממשק נשען על ChatInterface של גרדיו, וטוען רשימת דוגמאות מוכנות מראש לבדיקה מהירה של השאילתות בלי צורך להעלות קבצים ידנית כבר בהתחלה.

מתאים ל

• זיהוי פרטים מורכבים

  העלאת תמונה וביצוע חיתוך ממוקד באזורים קטנים כדי לענות על שאלות הדורשות תשומת לב לפרטים.

• בדיקת הסקה חזותית

  בחינת היכולת של המודל להחליט מתי להשתמש בכלי חיתוך תמונה על סמך השאלה שנשאלה.

• ניתוח רצף תמונות

  השוואה בין מספר קבצים שהועלו במקביל לקבלת תשובה משולבת על המידע החזותי.

איפה זה נופל

נכון לעכשיו סטטוס המערכת מוגדר כשגיאת תצורה, מה שאומר שהיא לא עולה ואי אפשר להשתמש בה בפועל. מעבר לתקלה הזו, פונקציית בחירת הפריימים מוגבלת לשמונה פריימים מתוך שישה עשר בלבד, כך שאי אפשר להזין סרטונים ארוכים. תיבת הקלט מוגבלת להעלאת תמונות בלבד, למרות שבקוד קיימת תמיכה מסוימת בפעולות וידאו.

איך משתמשים

גוררים תמונה לתיבת הטקסט הרב מודלית, מקלידים את השאלה ולוחצים על שליחה. האפליקציה רצה על חומרת zero-a10g שמקצה כרטיס גרפי לפי דרישה, מה שעלול לגרום להמתנה קצרה בזמן שהחומרה מתעוררת. אין צורך בהרשמה או בחשבון כדי להריץ שאילתה, והכל עובד ישירות מתוך הדפדפן.

הרישיון

הקוד מופץ תחת רישיון apache-2.0, שמאפשר שימוש חופשי, שינוי והפצה, כולל שימוש מסחרי. החומרים שאתם מעלים עוברים דרך השרת שמארח את ההדגמה, ולכן לא מומלץ להזין מסמכים או תמונות רגישות.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗