Microsoft_Phi-3-Vision-128k

מה זה

האפליקציה מחברת אתכם ישירות אל הדגם microsoft/Phi-3-vision-128k-instruct של מיקרוסופט. אתם מעלים קובץ תמונה לתיבת הטקסט המשולבת, מוסיפים הנחיה כתובה באנגלית או שואלים שאלה לגבי מה שרואים, והמודל מחזיר תשובה מנומקת בהזרמת טקסט חיה.

הממשק בנוי סביב צ'אט רגיל שמבוסס על ספריות transformers וקוד מרוחק של המודל. בדוגמאות המובנות מופיעה תמונה בשם robo.jpg עם ההוראה לתאר אותה בפירוט, כך שאפשר לראות מיד איך הדגם מפרק סצנה חזותית למילים בלי להעלות קובץ משלכם.

מתאים ל

• תיאור תמונות מפורט

  מעלים צילום או איור ומבקשים פירוט של האובייקטים, הצבעים והקומפוזיציה.

• חילוץ מידע מתרשימים

  טוענים תרשים או צילום מסמך ומציגים שאלות ספציפיות על הנתונים שמופיעים בהם.

• בדיקת יכולות ראייה של מיקרוסופט

  בוחנים איך המודל מתמודד עם זיהוי פרטים לפני שמחליטים לשלב אותו בפיתוח עצמאי.

איפה זה נופל

חובה להעלות תמונה בכל פנייה. הקוד זורק שגיאה מפורשת וחוסם את הריצה אם מנסים לשלוח טקסט בלבד בלי קובץ מצורף. בנוסף, זו אינה הדגמה רשמית של מיקרוסופט אלא מימוש קהילתי, כך שדוגמאות הממשק אינן נשמרות במטמון ומעובדות מחדש בכל לחיצה.

איך משתמשים

גוררים תמונה לתיבת השיחה, כותבים הוראה ולוחצים על שליחה. מאחר שחומרת ההרצה מוגדרת בתצורת zero-a10g, המודל מוקצה למעבד גרפי מסוג A10G לפי דרישה, מה שמספק מענה מהיר יחסית דרך תהליכון נפרד שמזרים את התווים בזמן אמת. אין צורך בהתחברות מיוחדת, אבל אם יש עומס על משאבי השרת ייתכן שתמתינו רגע להקצאת המאיץ.

הרישיון

הקוד של האפליקציה מפורסם תחת רישיון mit שמאפשר שימוש חופשי ושינוי. החומרים שאתם מעלים עוברים עיבוד בשרתי הריצה של המרחב כדי שהמעבד הגרפי ייצר את התשובה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗