fromage
רץ בדפדפןjykohרישיון לא דווח2023-02-20
jykoh עומדים גם מאחורי VisualWebArena, ויש עליו סקירה כאן.
הדגמת צ'אט שמחברת טקסט ותמונות יחד, ומיועדת למי שרוצה לבדוק מודל שמסוגל לנהל שיחה וגם לאחזר תמונות בתגובה. נכון לעכשיו אי אפשר להריץ אותה בדפדפן בגלל שגיאת בנייה.
- —הורדות בחודש
- 54לייקים
מה זה
אתם מעלים תמונה, מקלידים הודעה בתיבת הטקסט, ומקבלים תגובה שמשלבת מלל ותמונות שנשלפות בהתאם לשיחה. הממשק מציג גלריית דוגמאות מוכנות שכוללת תמונות כמו דרור, בונה, ספה, גוואקמולי וברך שרוטה, שממחישות איך המודל מגיב לקלטים ויזואליים שונים.
מאחורי הקלעים רץ שילוב של מודלי שפה וראייה ממוחשבת. הקוד טוען את משקלי FROMAGe יחד עם גרסאות של OPT מבית מטא ודגמי CLIP של OpenAI, ומאפשר לכוונן בהגדרות את הטמפרטורה, אורך התשובה המרבי, ומספר התמונות לאחזור.
מתאים ל
- שיחה על בסיס תמונה
העלאת תמונה ושאלת שאלות עליה כדי לבחון איך המודל מזהה פרטים ויזואליים.
- אחזור תמונות מטקסט
הקלדת תיאור כדי לקבל בחזרה תמונות מתאימות מתוך המאגר של המודל.
- בדיקת שילוב CLIP ו־OPT
בחינה מעשית של חיבור בין מודל שפה פתוח למודל ראייה ממוחשבת.
איפה זה נופל
הבעיה המיידית היא שההדגמה לא נבנית ולא זמינה לשימוש. מעבר לכך, הקוד מגביל מראש את אורך התשובה המקסימלי לשישים וארבעה טוקנים בלבד, כך שלא תקבלו כאן הסברים ארוכים. המודלים שרצים ברקע ותיקים יחסית ועלולים לפספס הקשרים מורכבים.
שאלות
נפוצות
האם אפשר להשתמש באפליקציה כרגע?
לא. האפליקציה מוגדרת במצב של שגיאת בנייה ולכן אינה עולה בדפדפן. עד שהיוצר יעדכן את הקוד או את הגדרות ה־Docker, אי אפשר לשלוח הודעות או להעלות קבצים.
האם השימוש בה כרוך בתשלום?
הגישה לעמוד בהאגינג פייס פתוחה ללא תשלום. עם זאת, כל עוד יש שגיאת בנייה לא ניתן להפעיל אותה בפועל.
האם אפשר להריץ את המערכת מקומית?
כן, הקוד מבוסס על Docker ומשתמש בקובץ app.py שטוען משקלים ממאגר jykoh/fromage. מי שיש לו סביבת GPU מתאימה יכול למשוך את הקבצים ולהרים אותם אצלו.
כמה תמונות אפשר להוציא בכל תשובה?
הממשק כולל שדה ייעודי להגדרת המספר המרבי של תמונות לאחזור וסליידר לקביעת פקטור קנה המידה. אפשר לשלוט בכמות התוצאות שהמודל מחזיר בכל פנייה דרך הפקדים בצד השיחה.
איך משתמשים
במצב תקין פשוט מעלים קובץ דרך כפתור התמונה, כותבים שאלה ולוחצים על שליחה, עם אפשרות לשמור את השיחה כתמונת PNG או לשתף אותה. הסביבה מוגדרת לרוץ על חומרת A10G גדולה שמספקת כוח עיבוד חזק.
בפועל, כרגע אין מה ללחוץ כי האפליקציה נמצאת במצב שגיאת בנייה ולא עולה כלל בדפדפן.
הרישיון
היוצר לא דיווח על רישיון עבור היישום. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי או להעתקת הקוד והמשקלים, ומוטב לא להעלות לשם תמונות פרטיות או רגישות.