visual-chatGPT
רץ בדפדפןRamAnanth1רישיון לא דווח2023-03-10
הכלי מחבר מודל שפה לסדרה של כלי עיבוד תמונה כדי לשוחח על קבצים ולערוך אותם בפקודות טקסט. הוא מיועד למי שרוצה לשאול שאלות על תמונות, לשנות סגנון או לייצר איורים דרך צ'אט יחיד.
- —הורדות בחודש
- 57לייקים
מה זה
כותבים הוראה או שאלה בתיבת השיחה, ואפשר גם להעלות תמונה קיימת. בתגובה מקבלים תשובה טקסטואלית, ניתוח של מה שמופיע בתמונה, או קובץ תמונה מעובד וחדש שנשמר בתיקייה פנימית ומוצג בחזרה בצ'אט.
מאחורי הקלעים רץ סוכן של LangChain שמפעיל מודל שפה של OpenAI לצד ארסנל מודלים פתוחים. הוא מחליט לבד לאיזה כלי לפנות. למשל, BLIP משמש לתיאור תמונות ולמענה על שאלות חזותיות, CLIPSeg מסמן מקטעים, ControlNet על בסיס קווי מתאר או תנוחות גוף שולט במבנה, וגרסאות שונות של Stable Diffusion ו־Instruct-Pix2Pix מטפלות בהסרת אובייקטים, החלפתם, שינוי סגנון או יצירת תמונות מאפס בעזרת MagicPrompt.
מתאים ל
- הסרת והחלפת פרטים
זיהוי אלמנטים בתמונה בעזרת טקסט ומחיקתם או החלפתם בעזרת שילוב של מודלי אינפיינטינג וסגמנטציה.
- שאלות על תוכן תמונה
העלאת צילום וקבלת תשובות ישירות על ספירת פריטים, צבעים וזיהוי פרטים בעזרת מודל שאלות ותשובות.
- עריכת סגנון לפי פקודה
שינוי המראה הכללי של תמונה קיימת, למשל הפיכתה לציור או שינוי סגנון האובייקטים, לפי הוראה מילולית.
איפה זה נופל
נכון לעכשיו אי אפשר להשתמש בהדגמה בדפדפן כי היא מוגדרת במצב שגיאת ריצה. גם כשהיא עובדת, המערכת מנסה לדחוס מודלים כבדים רבים כמו מודלי פענוח, סגמנטציה ומספר צינורות דיפוזיה על חומרת T4 יחידה, עומס שמוביל לקריסות זיכרון תכופות. בנוסף, מודל השפה לא רואה את התמונה בעצמו אלא מסתמך על תיאורי ביניים, ולכן פרטים עדינים עשויים ללכת לאיבוד.
שאלות
נפוצות
האם הכלי זמין כרגע לשימוש?
לא. המרחב נמצא במצב של שגיאת ריצה (RUNTIME_ERROR), כך שאי אפשר להפעיל אותו בדפדפן כרגע.
האם אפשר להריץ את הקוד באופן עצמאי?
כן, הקוד מבוסס על ספריות פתוחות כמו diffusers ו־transformers. עם זאת, תצטרכו חומרה חזקה ומפתח API של OpenAI כדי להפעיל את הסוכן והמודלים הרבים.
איך הכלי מבין את התמונות אם הוא מודל שפה?
מודל השפה לא מנתח את הפיקסלים ישירות. הוא מפעיל מודלים נלווים, כמו כלי תיאור תמונה של BLIP, ומשתמש בתיאור הטקסטואלי שהם מחזירים כדי לגבש תשובה.
איך משתמשים
בממשק Gradio טיפוסי מעלים קובץ, מקלידים הנחיה בטקסט ושולחים לביצוע. מכיוון שחומרת ההרצה היא מעבד גרפי מסוג t4-medium, הרצה שדורשת הפעלה של כמה מודלים עוקבים אמורה לקחת לא מעט שניות לכל שלב. כרגע לא תגיעו למצב הזה, כי העמוד קורס מיד עם שגיאת זמן ריצה ולא מעלה את סביבת העבודה.
הרישיון
הרישיון לא דווח בקוד או בתיעוד. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, ורצוי להתייחס לכל תמונה או טקסט שמעלים ככאלה שעלולים להישמר על השרת המארח של המרחב.