BLIP-2
רץ בדפדפןtaesiriother2023-01-31
מעלים תמונה ומקבלים תיאור טקסטואלי או מנהלים שיחה ושואלים עליה שאלות. הכלי מתאים למי שרוצה לבדוק יכולות ראייה ממוחשבת וניתוח תמונה בלי לכתוב שורת קוד.
- —הורדות בחודש
- 85לייקים
מה זה
הממשק מציג שני אזורי עבודה עיקריים לצד העלאת התמונה. בצד אחד בוחרים סוג תיאור בעזרת כפתורי בחירה, לוחצים על הפקת כיתוב ומקבלים טקסט בתיבת תשובה. בצד השני מופיע חלון שיחה שבו כותבים שאלות חופשיות על התמונה, לוחצים על הפקת תשובה, ורואים את הדיאלוג נבנה מול המודל עם אפשרות לאפס את השיחה בכל שלב.
מאחורי הקלעים הקוד טוען את מודלי BLIP-2 מתוך ספריית lavis של Salesforce ומריץ אותם בעזרת PyTorch. יש בממשק גם אזור של דוגמאות מוכנות מראש, שמציגות כנראה תמונות לבדיקה מהירה למי שלא רוצה להעלות קובץ משלו.
מתאים ל
- יצירת כיתובים לתמונות
מעלים תמונה ומפיקים תיאור טקסטואלי אוטומטי בהתאם לסגנון שנבחר בממשק.
- תשאול ויזואלי בצ'אט
שואלים שאלות ממוקדות על פרטים, צבעים או אובייקטים שנמצאים בתוך התמונה.
- בדיקת יכולות BLIP-2
בוחנים את ביצועי המודל מתוך ספריית lavis ישירות דרך ממשק גרפי.
איפה זה נופל
הבעיה המרכזית כרגע היא שההדגמה מושהית לחלוטין ולא תגיב לפעולות שלכם. מעבר לזה, הממשק מבוסס על שאלות ותשובות ממוקדות בתמונה ולא מתאים לקריאת מסמכים שלמים, לחילוץ נתונים מורכבים או לעיבוד שפה בעברית, שלא נתמכת באופן מובנה במודל המקורי.
שאלות
נפוצות
האם האפליקציה פועלת כרגע בחינם?
הממשק עצמו פתוח לגישה חופשית ולא דורש תשלום, אך הוא נמצא כרגע במצב מושהה. המשמעות היא שלא תוכלו להריץ שאילתות בפועל עד שבעל המרחב יפעיל אותו מחדש, או שתשכפלו אותו לחשבון שלכם. אם תבחרו לשכפל לחומרה ייעודית, ייתכן שזה יהיה כרוך בעלות מול ספק האחסון.
כמה זמן לוקח לקבל תשובה לכל תמונה?
במצב פעיל, חומרת t4-small מספקת מענה בתוך שניות בודדות לכל תיאור או שאלה. עם זאת, מכיוון שהאפליקציה מושהית, כרגע אין זמני תגובה אמיתיים לבדיקה. המהירות בפועל תלויה בעומס המשתמשים ובמורכבות התמונה שתעלו.
מה קורה עם התמונות שאני מעלה לממשק?
התמונות נשלחות לזיכרון הריצה של השרת לצורך עיבוד המודל ויצירת התשובות. הקוד משתמש באובייקטים מסוג State לשמירת היסטוריית השיחה המקומית שלכם באותו רגע. למרות זאת, מדובר בסביבה ציבורית ולכן לא מומלץ להעלות קבצים רגישים או פרטיים.
האם אפשר להריץ את הכלי הזה מקומית במחשב?
כן, הקוד הציבורי מראה שימוש ישיר בספריית lavis ובחבילת gradio הסטנדרטית של פייתון. תוכלו להוריד את הקבצים ולהפעיל אותם אצלכם, בתנאי שיש לכם כרטיס מסך תואם עם תמיכה ב־PyTorch. הרצה מקומית גם תפתור את בעיית ההשהיה של הדף הציבורי.
איך משתמשים
כדי להתחיל מעלים קובץ תמונה, בוחרים סוג כיתוב או כותבים שאלה קונקרטית, ולוחצים על הכפתור המתאים. המערכת הוגדרה לרוץ על מעבד גרפי t4-small, אבל כרגע היא במצב מושהה ולכן אי אפשר להריץ אותה ישירות בדפדפן בלי להפעיל אותה מחדש או לשכפל אותה לסביבה שלכם.
הרישיון
הרישיון מוגדר כ־other, כלומר אין כאן רישיון קוד פתוח סטנדרטי וברור. אם אתם מתכננים שימוש מסחרי בקוד או בפלטים, צריך לבדוק את תנאי השימוש המקוריים של חבילת lavis ושל מודל BLIP-2 לפני שמתקדמים.