glip-zeroshot-demo

מה זה

אתם מעלים תמונה לתוך ממשק הגראדיו ומקבלים אותה בחזרה עם תיבות סימון מסביב לעצמים שהוגדרו. הטכנולוגיה מאחורי זה היא GLIP שמיועדת לזיהוי עצמים בתמונות לפי תיאור שפתי פתוח, כשהקוד מוגדר לטעון את משקולות המודל בגרסת tiny שאומנה על מאגרים כמו objects365 ונתוני תמונות וטקסט. הממשק מכיל גם דוגמאות מובנות להרצה מהירה שמראות איך הזיהוי מתבצע בלי צורך להעלות קובץ משלכם מיד בהתחלה.

מתחת למכסה המנוע מוגדרים מודלים של שפה וראייה ממוחשבת, בהם ברט, רוברטה וקליפ לצד ספריות ייעודיות לחיזוי. השילוב הזה אמור לאפשר למודל להבין ביטויים מורכבים ולהתאים אותם לאזורים ספציפיים בתמונה, במקום להישען על רשימת קטגוריות קבועה וסגורה מראש.

מתאים ל

• בדיקת זיהוי עצמים מטקסט

  מזינים תיאור מילולי חופשי כדי לבדוק איך המודל מזהה עצמים מורכבים בלי אימון ייעודי.

• הערכת ביצועי גרסת המודל

  בוחנים את היכולת של דגם הטיני מול תמונות קשות לפני שמורידים את המשקולות הגדולות.

• בחינת ממשק לבניית כלי דומה

  משתמשים בקוד כדי לראות איך לחבר מנוע מבוסס פייתון לממשק גראדיו עם עיבוד תמונה.

איפה זה נופל

הבעיה המרכזית כרגע היא שההדגמה לא נבנית ועומדת על שגיאה, מה שהופך אותה ללא שמישה לחלוטין ברשת. מעבר לזה, הקוד טוען את הגרסה הקטנה של המודל ולא את גרסת הלארג', כך שגם כשהיא פועלת, הביצועים והדיוק אינם משקפים את מלוא היכולת של המודל המקורי. חובה לבדוק את הקוד ישירות במחשב שלכם אם בונים על התוצאות.

איך משתמשים

ההדגמה מוגדרת לרוץ על מעבד גרפי t4-small בחיבור cuda, אבל כרגע היא תקועה במצב שגיאת בנייה ולכן אי אפשר להריץ אותה בדפדפן בכלל. במצב תקין פשוט מעלים תמונה ולוחצים להרצה, אולם כל עוד התקלה בקוד לא נפתרת בידי היוצר, אין שום אפשרות לנסות אותה אונליין.

הרישיון

הקוד מופץ תחת רישיון mit שמאפשר שימוש חופשי, העתקה ושינוי לכל מטרה כולל שימוש מסחרי. לגבי התוכן שמעלים, מאחר שהמערכת תקועה ולא רצה, שום מידע לא נשלח בפועל לשרת.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗