LLaVA
רץ בדפדפןbadayvedatרישיון לא דווח2023-10-08
הדגמה לשיחה מבוססת ראייה ממוחשבת שמאפשרת לשאול שאלות על תמונות. מתאימה למי שרוצה לבדוק יכולות של מודלי שפה רב-מודאליים ישירות בדפדפן.
- —הורדות בחודש
- 425לייקים
מה זה
מעלים תמונה לתיבת ההעלאה, כותבים שאלה או הנחיה בתיבת הטקסט, ומקבלים תשובה מילולית בחלון השיחה. הממשק כולל תפריט לבחירת מודלים, דוגמאות מובנות כמו גיהוץ אקסטרים או מראה מול מים, ואפשרות לכוונן ערכים כמו טמפרטורה, מדד דיגום וכמות מרבית של תווים מיוצרים.
מאחורי הקלעים הקוד מתייחס למודל התמונות liuhaotian/llava-v1.5-13b, לצד מודלי שפה קטנים יותר מסדרת opt של פייסבוק. הרעיון הוא שילוב בין הבנת תמונה לבין מודל שפה שמסביר את מה שמופיע בה ומנהל שיחה רציפה סביב התוכן.
מתאים ל
- ניתוח תמונה בודדת
מעלים תצלום ומבקשים פירוט על העצמים, הטקסט או הפעולות שמופיעים בו.
- שאלות המשך בצ'אט
מנהלים שיחה רב שלבית על פרטים ספציפיים מתוך התמונה שהועלתה לממשק.
- בדיקת פרמטרים למודל
משנים ערכי טמפרטורה וכמות טוקנים כדי לבחון שינויים באופי התשובות.
איפה זה נופל
הבעיה המיידית היא שההדגמה מושבתת לחלוטין עקב שגיאת ריצה, ולכן אינה מגיבה כלל. מעבר לכך, מודל של 13 מיליארד פרמטרים על חומרת t4-small מתקשה לעמוד בקצב סביר או עלול לקרוס מחוסר זיכרון. אסור להסתמך על הזמינות שלה לעבודה שוטפת, וכל עוד התקלה לא תוקנה אין דרך לבחון את איכות הפלט.
שאלות
נפוצות
האם השימוש בהדגמה כרוך בתשלום?
הגישה לממשק היא ללא תשלום ואינה דורשת כרטיס אשראי. עם זאת, נכון לעכשיו היישום מדווח כשגיאת ריצה ולא מייצר תשובות. אם המפתח יתקן את התקלה, השימוש צפוי להישאר חופשי במסגרת המגבלות של השרת הקיים.
האם האפליקציה עובדת כרגע בדפדפן?
לא, המצב הנוכחי שלה מוגדר בתור תקלת ריצה. הממשק עשוי להיטען אך המודל מאחוריו אינו זמין לעיבוד פניות. כדי להשתמש בה יש להמתין לעדכון מצד היוצר או להריץ את הקוד באופן עצמאי.
מה קורה לתמונות ולטקסט שמעלים לכאן?
הקוד כולל פונקציות לרישום היסטוריה ודירוג תשובות שנשלחות חזרה. בנוסף מופיעה אזהרה לגבי תנאי השימוש של ShareGPT ו־OpenAI. לא מומלץ להעלות קבצים רגישים או פרטיים לסביבה הזו, מכיוון שרמת השמירה על הפרטיות אינה מובטחת.
האם אפשר להריץ את היישום על מחשב מקומי?
הקוד פתוח ומשתמש בספריית gradio ובמאגרי קוד ציבוריים של LLaVA. אפשר להוריד את הקבצים ולהפעיל אותם מקומית, אך נדרש לכך מעבד גרפי מתאים כדי להחזיק מודל בגודל של עד 13 מיליארד פרמטרים. ללא חומרה ייעודית עם מספיק זיכרון, ההרצה המקומית תיכשל.
איך משתמשים
לוחצים על העלאת תמונה, מקלידים שאלה ולוחצים על כפתור השליחה. יש כפתורים נוספים לניקוי היסטוריה, יצירה מחדש ודירוג התשובה. נכון לעכשיו אי אפשר להריץ אותה בדפדפן כי היא מוגדרת במצב של שגיאת ריצה. השרת שהוקצה לה מבוסס על חומרת t4-small, כך שגם כשהיא פעילה זמן התגובה עשוי להיות איטי תחת עומס.
הרישיון
הרישיון של המרחב עצמו לא דווח. בקוד מצוין שהשימוש מיועד למחקר בלבד וללא מטרות מסחריות, בכפוף לתנאי הרישיון של מודל LLaMA, תנאי השימוש של OpenAI ומדיניות ShareGPT. המשמעות היא שאין אישור לשימוש מסחרי, ואין לדעת כיצד נשמר המידע שמועלה.