CogVLM-CogAgent

מה זה

אתם מעלים קובץ תמונה, מקלידים שאלה בתיבת הטקסט ומקבלים תשובה בתוך חלון צ'אט שתומך בשיחה מרובת שלבים. הממשק מאפשר לשלוט בפרמטרים של היצירה דרך סרגלי טמפרטורה, Top P ו־Top K, וכולל תיבת סימון לבחירה במודל באנגלית.

מאחורי הקלעים הקוד מתממשק למודל CogVLM של zai-org ושולח אליו בקשות ברקע, כולל עיבוד מקדים של הקבצים ותמיכה ביכולות זיהוי מיקום של אובייקטים בתמונה. בדף מוטמעות גם דוגמאות מוכנות מראש מתוך קובץ נתונים, שכוללות תמונות עם שאלות תואמות כדי להדגים את התגובות שהמערכת אמורה להחזיר.

מתאים ל

• ניתוח תוכן של תמונה

  מעלים תמונה ושואלים שאלות ממוקדות על הפרטים שמופיעים בה דרך חלון השיחה.

• בדיקת מיקום עצמים

  בחינת יכולות איתור ויזואלי לפי תמונות ייעודיות שמופקות במהלך עיבוד השאילתות.

• הערכת תגובות באנגלית

  בדיקת איכות התשובות של CogVLM תוך שינוי ידני של ערכי הטמפרטורה והדגימה.

איפה זה נופל

הבעיה המיידית היא שהאפליקציה פשוט לא עובדת כרגע בגלל שגיאת ריצה, כך שאי אפשר להשתמש בה כלל דרך הדפדפן עד שיועלה תיקון. הקוד מציג הודעת תחזוקה מובנית, מה שמעיד על בעיות יציבות מוכרות.

בנוסף, הקוד המקומי רק שולח בקשות רשת חיצוניות עם התמונה המקודדת ולא מריץ את המשקולות ישירות על המעבד, כך שהתנהגות הממשק תלויה בשרת המרוחק. הממשק גם מציע בחירה ייעודית למודל אנגלי, כך שאין טעם לצפות לתמיכה מלאה או יציבה בעברית.

איך משתמשים

טוענים תמונה, כותבים שאלה ולוחצים על כפתור Generate כדי לקבל מענה, או בוחרים באחת משש הדוגמאות המוכנות בכל עמוד כדי לראות תוצאה מיידית. אפשר לנקות את הקלט ולשנות את ערכי האקראיות לפני כל שליחה.

בפועל, כרגע אי אפשר להריץ אותה בדפדפן כי הסטטוס שלה מוגדר כשגיאת זמן ריצה והקוד תקוע. מעבר לכך, היא מוגדרת על שרת עם מעבד מרכזי בלבד, כך שגם כשהיא פועלת, שאילתות על מודל ויזואלי כבד צפויות להימשך זמן רב או להמתין בתור לבקשות שמטופלות במקביל.

הרישיון

הפרויקט מפורסם תחת רישיון MIT, מה שמאפשר שימוש חופשי בקוד, כולל התאמה לצרכים מסחריים ושינויים. הקוד שומר עותקים מהתמונות המועלות בתיקיית דוגמאות לפי חותמת זמן ומייצר להן מזהה ייחודי, לכן לא מומלץ להעלות לשם תמונות רגישות או מידע פרטי.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗