OFA-Visual_Grounding
רץ בדפדפןOFA-Sysרישיון לא דווח2022-03-02
מעלים תמונה, כותבים תיאור של עצם ספציפי, ומקבלים סימון מדויק שלו בתוך הפריים. הכלי מיועד למי שרוצה לבדוק התאמה בין טקסט למיקום ויזואלי בלי לכתוב קוד.
- —הורדות בחודש
- 45לייקים
מה זה
הרעיון פה פשוט. אתם מזינים תמונה מכל סוג ומקלידים בתיבת הטקסט תיאור מילולי באנגלית של מה שאתם מחפשים. הפלט שתקבלו בחזרה הוא התמונה המקורית שעליה מסומנת תיבה סביב האובייקט שזיהה המודל לפי המשפט שכתבתם.
בקוד מאחורי הקלעים רץ מימוש של מודל OFA באמצעות Fairseq ומשימת Refcoco שמתמחה בקישור בין שפה טבעית לאזורים בתמונה, יחד עם שימוש בסיסי בספריות OpenCV ו־PIL לעיבוד התוצאה. הדוגמה המובנית בממשק כוללת תמונה של פוקימונים עם ההנחיה למצוא פוקימון כחול שנראה כמו צב עם ראש עגול, מה שמראה שהמערכת אמורה להתמודד גם עם תיאורים מפורטים ולא רק עם מילות מפתח בודדות.
מתאים ל
- איתור עצמים לפי תיאור
זיהוי וסימון של אובייקט ספציפי מתוך תמונה מורכבת באמצעות משפט חופשי באנגלית.
- בדיקת יכולות visual grounding
הערכה ראשונית של התאמת מודל OFA למשימות חיבור בין שפה לראייה ממוחשבת.
- תיוג מונחה טקסט לדאטה
הפקת תיבות תוחמות מסביב לפריטים בלי צורך לסמן אותם ידנית בעכבר.
איפה זה נופל
הבעיה המיידית היא שהאפליקציה פשוט לא עובדת בדפדפן ומציגה שגיאת ריצה, כך שלא תקבלו שום פלט כרגע. מעבר לזה, המודל אומן על משימות באנגלית, אז אין מה לנסות להזין תיאורים בעברית. גם אם היא הייתה פעילה, סימון אובייקטים מבוסס טקסט נוטה להיכשל כשיש כמה עצמים דומים מאוד בפריים או כשהתיאור המילולי מעורפל מדי.
שאלות
נפוצות
האם השימוש באפליקציה עולה כסף?
הגישה לממשק באתר היא בחינם ואינה דורשת תשלום או מנוי. עם זאת, כרגע המרחב נמצא בשגיאת ריצה ולא מייצר תוצאות בפועל.
כמה זמן לוקח לכל תמונה להתעבד?
הממשק מוגדר על שרת מעבד משודרג, כך שפעולה תקינה אמורה לקחת מספר שניות ספורות לתמונה. מאחר שהאפליקציה תקועה כרגע בשגיאה, לא ניתן להריץ תמונות בכלל.
האם אפשר להריץ את הקוד הזה מקומית על המחשב?
כן, הקוד מבוסס על ספריות סטנדרטיות כמו Fairseq, Gradio ו־PyTorch שמופיעות בקובץ app.py. אפשר לקחת את הקוד ולהריץ אותו בסביבה מקומית, בתנאי שמורידים את המשקלים של מודל OFA ופותרים את שגיאות התלויות.
מה קורה לתמונות שאני מעלה?
הקבצים מעובדים על גבי השרת שמריץ את הדמו כדי לחשב את מיקום האובייקט ולהחזיר את התוצאה. מאחר שלא הוגדר רישיון או מדיניות פרטיות מפורטת, עדיף לא להעלות לשם מידע רגיש או תמונות פרטיות.
איך משתמשים
בפועל נכנסים לדף, מעלים קובץ תמונה או בוחרים את הדוגמה המוכנה, מקלידים את תיאור האובייקט בתיבת הטקסט ולוחצים על שליחה כדי להריץ את הזיהוי. הממשק מוגדר על חומרת cpu-upgrade, מה שאומר שעיבוד כבד על מעבד רגיל עשוי לקחת כמה שניות טובות לכל בקשה. עם זאת, נכון לעכשיו העמוד מסומן במצב של שגיאת ריצה, כך שאי אפשר להפעיל אותו בדפדפן עד שמי שבנה אותו יתקן את הקוד.
הרישיון
הרישיון של המרחב לא דווח כלל במאגר. במצב כזה אין אישור מפורש לשימוש מסחרי בקוד או בתוצרים, ולא ידוע מה נעשה עם תמונות שמועלות לממשק בזמן שהוא פעיל.