image-captioning
רץ בדפדפןflax-communityרישיון לא דווח2022-03-02
מעלים תמונה ומקבלים תיאור טקסטואלי קצר של מה שמופיע בה. זה מיועד למי שרוצה לבדוק יכולות של מודלי ראייה ממוחשבת ישנים יחסית ישירות מהדפדפן.
- —הורדות בחודש
- 87לייקים
מה זה
התהליך פשוט על הנייר: אתם בוחרים קובץ תמונה, והמערכת מחזירה משפט באנגלית שמתאר את מה שרואים בצילום. זה מתאים בעיקר לבדיקות מהירות של תיוג תמונות אוטומטי, בלי לכתוב שורת קוד אחת.
מאחורי הקלעים רץ שילוב של מודל ViT עם GPT-2 שאומן על מאגר COCO, יחד עם gpt2 של OpenAI. המודלים האלה מזהים אובייקטים בסיסיים ומנסחים עליהם משפט תחבירי פשוט באנגלית, אך ללא יכולת להבין הקשרים מורכבים או להפיק פלט בעברית.
מתאים ל
- בדיקת מודלי תיוג
השוואה של ביצועי vit-gpt2 מול תמונות יומיומיות כדי לבחון איכות תיאור בסיסית באנגלית.
- הפקת טקסט חלופי לתמונות
יצירה ראשונית של תגיות alt לתמונות ברשת, בתנאי שעורכים אותן ידנית ובודקים דיוק.
- התנסות בממשקי streamlit
בחינה של חיבור בין מודלי ראייה לשפת ממשק פשוטה המבוססת על פייתון.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה נמצאת במצב שגיאה ולא באמת עובדת כרגע. מעבר לכך, המודל מאומן על אנגלית בלבד, וכל ניסיון לחלץ ממנו תיאורים בעברית ידרוש תרגום חיצוני.
גם כשהיא פועלת, המודלים האלה נוטים לפספס פרטים קטנים, לתת תיאורים גנריים מאוד של חפצים יומיומיים, ולהמציא דברים שלא קיימים בתמונות עמוסות.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
לא, הגישה פתוחה לגמרי בדפדפן ואין דרישה לתשלום או להזנת אמצעי אשראי. עם זאת, נכון לעכשיו היא תקועה על שגיאת ריצה ולא תעבד קבצים.
האם אפשר להריץ את זה על המחשב שלי?
כן, המודלים שבהם נעשה שימוש פתוחים וזמינים להורדה, כמו גם הקוד שנכתב בספריית streamlit. תצטרכו להגדיר סביבת פייתון מקומית ולהתקין את הספריות המתאימות.
מה קורה עם התמונות שמעלים?
התמונות נשלחות לעיבוד על גבי השרת שמריץ את הממשק. היות שלא פורסם רישיון או מסמך פרטיות מסודר, מומלץ לא להעלות לשם תמונות רגישות או אישיות.
במה האפליקציה שונה משימוש ישיר במודל?
היא בסך הכל מעטפת גרפית קטנה שחוסכת כתיבת קוד בפייתון. במקום לטעון את המשקלים של vit-gpt2 בעצמכם, מקבלים כפתור העלאה בדפדפן.
איך משתמשים
נכנסים לעמוד דרך הדפדפן, בלי שום צורך בהרשמה או התחברות לחשבון. מעלים את קובץ התמונה דרך ממשק streamlit ומחכים לתשובה.
ההדגמה מוגדרת לרוץ על חומרת מעבד בסיסית, cpu-basic, כך שהעיבוד יכול לקחת כמה שניות טובות לכל קובץ. נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה, ולכן סביר להניח שהוא בכלל לא יגיב עד שהיוצרים יתקנו את הקוד.
הרישיון
היוצרים לא דיווחו על רישיון שימוש עבור האפליקציה הזו. המשמעות היא שאין הרשאה ברורה להשתמש בקוד, בתשתית או בתוצרים לצרכים מסחריים, וגם המעמד של תמונות שמועלות לשם אינו מוגדר.