Phi-3.5-Vision

מה זה

אתם מעלים תמונה לקלט, כותבים שאלה קצרה בתיבת הטקסט ומקבלים תשובה מילולית בחלון הפלט. הממשק בסיסי וכולל רק את מה שצריך כדי לבחון יכולת פענוח חזותית מול שאלות ספציפיות.

מאחורי הקלעים רץ המודל microsoft/Phi-3.5-vision-instruct באמצעות ספריית transformers של פייתון. הקוד מפעיל Flash Attention 2 על גבי כרטיס גרפי, מה שמייעל את חישובי הראייה והשפה ומאפשר עיבוד ישיר של הפיקסלים לצד הטקסט.

הממשק כולל תפריט לבחירת מודל, אם כי כרגע מוגדרת בו רק גרסת ההוראות הרשמית הזו של מיקרוסופט. אין כאן הגדרות מורכבות של טמפרטורה או אורך פלט, אלא שליחה ישירה בלבד שמחזירה את הטקסט המעובד.

מתאים ל

• חילוץ מידע מתרשימים

  מעלים צילום מסך של גרף ושואלים שאלות על הנתונים או המגמות שמופיעים בו.

• תיאור תכולת תמונה

  שולחים תמונה ומבקשים פירוט מדויק של העצמים והסביבה שנלכדו בעדשה.

• פענוח טקסט מתצלום

  מעלים שלט או מסמך מצולם ומבקשים להקליד מחדש את המילים שמופיעות עליו.

איפה זה נופל

זהו ממשק הדגמה נקודתי ולא מערכת לשיחה מתמשכת. אי אפשר לנהל דיאלוג של שאלות המשך על אותה התמונה, כי כל לחיצה מריצה פקודה בודדת מאפס בלי לזכור היסטוריה. הקוד גם לא חושף הגדרות מתקדמות של ייצור הטקסט, ולכן אין שליטה על רמת היצירתיות או על אורך התשובה הסופי מעבר לברירת המחדל.

איך משתמשים

גוררים תמונה לתיבת הקלט, כותבים שאלה ולוחצים על Submit. התהליך מתבצע ישירות בדפדפן בלי צורך להירשם או להגדיר מפתחות גישה.

הקוד מקצה חומרה מסוג Zero GPU מבוססת כרטיס A10G. זה אומר שהמשאבים מופעלים רק בזמן הלחיצה על הכפתור, ולכן במקרה של עומס ברשת עלול להיווצר תור קצר עד שהמעבד מתפנה ומחזיר תוצאה.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, שמאפשר שימוש חופשי בקוד המקור. המודל עצמו שייך למיקרוסופט, וכל תמונה או שאלה שאתם מעלים עוברת דרך השרת שמריץ את ההדגמה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗