mm-react
רץ בדפדפןmicrosoft-cognitive-serviceother2023-03-16
היישום מחבר בין מודלי שפה לכלי ראייה ממוחשבת כדי לפתור שאלות מורכבות על תמונות. הוא מיועד למפתחים וחוקרים שרוצים לבחון שילוב של סוכני ReAct עם שירותי ראייה.
- —הורדות בחודש
- 235לייקים
מה זה
הארכיטקטורה כאן נשענת על גישת ReAct, שמחברת מודל שפה לתהליך של חשיבה ופעולה מול כלים חיצוניים. אתם מעלים קובץ תמונה ומזינים שאלה טקסטואלית, והמערכת מנתחת את מה שמופיע בה באמצעות שילוב יכולות טקסט וראייה. הפרויקט משתמש בגרסה מותאמת של LangChain כדי לנהל את השיחות, להפעיל שירותים שונים ולעבד את התשובה הסופית שנפלטת למסך.
בבסיס שלו, הפרויקט פותח במקור כדי לעבוד מול שירותי ענן של Azure, כולל זיהוי עצמים, קריאת טקסט מתוך תמונה וניתוח תוכן מתקדם. המודל שולח שאילתות לכלים הללו לפי הצורך, מקבל מהם תוצאות גולמיות, ומגבש מתוכן מענה שלם. אין בעמוד עצמו דוגמאות מוכנות שרצות כרגע, מפני שהקוד מפנה להגדרות סביבה שצריך להזין מראש.
מתאים ל
- ניתוח תמונות רב שלבי
מענה על שאלות שדורשות שילוב בין זיהוי טקסט לקריאת פרטים בתמונה.
- בדיקת סוכני ראייה
בחינה של שילוב LangChain מותאם אישית יחד עם מודלי שפה.
- חיבור שירותי Azure
הפעלת כלי ראייה ממוחשבת מבוססי ענן כחלק מתהליך פתרון בעיות.
איפה זה נופל
ההדגמה לא מתפקדת בעמוד הציבורי ולכן אי אפשר לבדוק אותה ישירות בלי להגדיר מפתחות פרטיים. היא תלויה לחלוטין בשירותי ענן חיצוניים של מיקרוסופט ולא מריצה מודל ראייה מקומי. אם אין לכם מפתחות מתאימים בחשבון, לא תקבלו שום פלט.
שאלות
נפוצות
האם אפשר להשתמש בהדגמה בחינם כרגע?
לא, היישום נמצא במצב תקלה ולא עובד ישירות בדפדפן. מעבר לכך, הוא דורש חיבור משתני סביבה של משאבי ענן משלכם.
האם אפשר להריץ את הפרויקט מקומית?
כן, קוד המקור זמין בגיטהאב יחד עם חבילת LangChain שאפשר לבנות בעזרת Poetry. תצטרכו להגדיר את משתני הסביבה של Azure אצלכם כדי שזה יעבוד.
במה הכלי שונה מסתם מודל רב תחומי?
הוא לא מודל יחיד שעושה הכל, אלא סוכן שמשתמש במודל שפה כדי להפעיל כלי ראייה ייעודיים ולחבר ביניהם. הפעולות מתבצעות בשלבים דרך קריאות לשירותים חיצוניים.
איך משתמשים
כרגע אי אפשר להריץ את ההדגמה בדפדפן, כי היישום מוגדר במצב של שגיאת ריצה. כדי שהקוד יעבוד, צריך להגדיר משתני סביבה וסודות של משאבי Azure בהגדרות המרחב. ההרצה מוגדרת על מעבד בסיסי, מה שאומר שעיבוד פעולות מרובות של סוכן ייקח זמן ולא יקרה מיד.
הרישיון
הרישיון מוגדר כ־other בלי פירוט של תנאי השימוש המדויקים בעמוד. לא ידוע מה המדיניות לגבי תמונות שמעלים או שמירת מידע, ולכן עדיף לא להעלות מידע רגיש.