minigpt4

מה זה

אתם מעלים תמונה ומקבלים ממשק צ'אט שמגיב לשאלות ולהוראות לגבי מה שרואים בה. המערכת מחברת בין רכיב עיבוד התמונה baaivision/EVA לבין מודל השפה Vicuna-7b, בעזרת תהליך הקישור של MiniGPT-4, לצד שימוש במודלים ממשפחת BERT שמופיעים בהגדרות הקוד. בקוד עצמו יש הכנה לדוגמאות מובנות, אבל הן סומנו כהערה ולא מופיעות בפועל.

המטרה היא לתת מענה מילולי מורכב על גבי קלט ויזואלי, כמו תיאור מפורט של סצנות או חילוץ פרטים מתוך התמונה. התוצאה מתקבלת כהודעות טקסט רציפות בחלון השיחה, בהתאם לפרומפטים שתכתבו באנגלית.

מתאים ל

• תיאור תמונות

  מעלים צילום ומבקשים פירוט של האלמנטים המופיעים בו לטובת ניתוח ראשוני.

• מענה על שאלות חזותיות

  שואלים שאלות ממוקדות על פרטים, צבעים או יחסים בין אובייקטים בתמונה.

• כתיבה יצירתית מתמונה

  מבקשים מהמודל לחבר סיפור או טקסט שמתבסס על מה שמוצג בצילום.

איפה זה נופל

הכלי מחייב העלאת תמונה לפני שניתן להקליד מילה, כך שאי אפשר להשתמש בו לצ'אט טקסטואלי בלבד. בנוסף, המודלים שנמצאים בבסיסו מאומנים בעיקר על אנגלית, ולכן ניסיונות לתשאל אותו בעברית עלולים להוביל לתשובות שבורות או חלקיות. ההדגמה הזו מציגה רק חלק מהיכולות ואינה כוללת חיבור למקורות מידע חיצוניים או בדיקת עובדות.

איך משתמשים

טוענים קובץ תמונה ולוחצים על הכפתור שמתחיל את השיחה, ורק אז תיבת הטקסט נפתחת להקלדה. ישנם סליידרים לכיוונון temperature ו־num_beams כדי להשפיע על אופי התשובות והדיוק שלהן. השרת מוגדר על חומרת zero-a10g שמספקת כוח עיבוד של כרטיס גרפי מתאים, אך המרחב נמצא במצב שינה, כך שהפעלה ראשונית דורשת המתנה לעליית השרת.

הרישיון

הרישיון מוגדר כ־other ללא פירוט של תנאי שימוש חופשיים או מסחריים. תמונות ושיחות שמועלות לממשק רצות על שרתי Hugging Face ולכן עדיף לא להעלות מידע רגיש או פרטי.

הרישיון המלא ב־Hugging Face ↗