CLIP_prefix_captioning
רץ בדפדפןakhaliqרישיון לא דווח2022-03-02
מעלים תמונה ומקבלים תיאור טקסטואלי קצר שלה באנגלית. הכלי מיועד למי שרוצה לבדוק איך שילוב של מודל ראייה ושפה מייצר כיתובים אוטומטיים.
- —הורדות בחודש
- 46לייקים
מה זה
מזינים קובץ תמונה ובוחרים באילו משקולות להשתמש, COCO או Conceptual captions, והתוצאה היא שורת טקסט בודדת שמתארת את מה שמופיע בה. בממשק יש גם דוגמה מובנית עם קובץ בשם water.jpeg שמוגדר מראש לעבודה מול משקולות COCO.
מאחורי הקלעים רץ חיבור בין CLIP לבין GPT-2 של OpenAI. התמונה עוברת דרך מודל הראייה, והייצוג שלה נכנס כקידומת ישירות לתוך מודל השפה, שמשלים את המשפט ויוצר את הכיתוב הסופי בהתאם לסט הנתונים שנבחר.
מתאים ל
- בדיקת כיתוב לתמונות
קבלת תיאור טקסט באנגלית מתוך קובץ ויזואלי כדי לראות איך המערכת מזהה אובייקטים.
- השוואת משקולות אימון
בחינת ההבדלים בניסוח בין מודל שאומן על COCO לבין מודל שאומן על Conceptual captions.
- למידת שילוב מודלים
קריאת הקוד כדי להבין איך מחברים פרפיקס של CLIP לתוך מחולל טקסט כמו GPT-2.
איפה זה נופל
נכון לעכשיו אי אפשר להשתמש בהדגמה בדפדפן מפני שהיא נמצאת במצב של שגיאת ריצה, RUNTIME_ERROR, והקוד שלה פשוט קורס. גם אם היא הייתה עובדת, הפלט מוגבל למשפט תיאור קצר באנגלית בלבד. אין תמיכה בעברית, המודל מתבסס על GPT-2 הוותיק עם נטייה להזיות, וחלוקת המשאבים של מעבד בסיסי מונעת כל שימוש שדורש עיבוד מהיר או ניתוח של כמויות תמונות גדולות.
שאלות
נפוצות
האם השימוש פתוח בחינם?
כן, הגישה בדפדפן פתוחה ללא תשלום. עם זאת, נכון לעכשיו יש בה תקלת ריצה שמונעת ממנה לעבוד.
האם אפשר להריץ את זה מקומית?
כן, הקוד הציבורי ב־Gradio מציג שימוש בספריות סטנדרטיות ומשקולות מ־Hugging Face. אפשר למשוך את הקבצים ולהפעיל אותם בסביבה מקומית משלכם.
האם יש תמיכה בעברית?
לא. מודל השפה שמייצר את הטקסט הוא GPT-2 המקורי באנגלית, ולכן הפלטים מגיעים אך ורק באנגלית.
איך משתמשים
לוחצים על תיבת הקלט, מעלים תמונה מהמחשב או בוחרים בדוגמה הקיימת, מסמנים את סוג המשקולות הרצוי ומריצים. אין צורך לפתוח חשבון או להתחבר.
הקוד מוגדר לרוץ על מעבד רגיל מסוג cpu-basic בלי האצת כרטיס מסך, מה שעלול לייצר זמני עיבוד ארוכים יחסית לכל תמונה שמנסים להריץ.
הרישיון
הרישיון של המרחב לא דווח. המשמעות היא שאין הרשאה ברורה לשימוש מסחרי בקוד, וכל עוד היוצר לא הגדיר תנאים, כדאי להתייחס אליו כפרויקט מחקרי ולהימנע מהעלאת תמונות פרטיות או רגישות.