facebook/textvqa
קוד פתוחfacebookcc-by-4.02022-05-05
המאגר כולל שאלות באנגלית שמחייבות קריאת טקסט שמופיע בתוך התמונה עצמה כדי לענות עליהן. הוא נוצר במיוחד כדי לאמן ולהעריך מודלים שמשלבים ראייה ממוחשבת והבנת טקסט בסצנה.
- 975הורדות בחודש
- 38לייקים
מה זה
הנתונים מתבססים על 28,408 תמונות שנלקחו מתוך OpenImages v4 וכוללים 45,336 שאלות. התהליך התחיל מסינון אוטומטי של תמונות שזוהה בהן טקסט באמצעות כלי זיהוי תווים, ולאחר מכן אימות אנושי שמוודא שיש בהן טקסט. בשלב הבא עובדי מיקור חוץ ניסחו שאלות שמבוססות על הטקסט בתמונה, עד שתי שאלות לתמונה בחלק מהמקרים, ועשרה מתייגים שונים סיפקו תשובות לכל שאלה כדי להתמודד עם שונות וטעויות אנוש.
המבנה מחולק לשלושה חלקים, אימון, תיקוף ומבחן. בחלקי האימון והתיקוף מקבלים את רשימת עשר התשובות האנושיות המלאה. בחלק המבחן שדה התשובות מחזיר עשר מחרוזות ריקות, וכדי לחשב ביצועים רשמיים צריך לשלוח את התוצאות ללוח התוצאות של התחרות בשרת חיצוני.
מתאים ל
- אימון מודלי VQA
אימון מודלים שצריכים לקרוא שלטים, מותגים או טקסטים קצרים בתוך תמונות כדי לענות על שאלות.
- הערכת ביצועי ראייה וטקסט
בדיקת היכולת של מודל קיים לשלב בין זיהוי אובייקטים לבין הבנת משמעות של כיתוב בסביבה פתוחה.
- פיתוח כלי נגישות
בניית רכיבי עזר לאנשים עם לקויות ראייה שצריכים עזרה בקריאת שלטים ומסמכים מתוך תמונות.
איפה זה נופל
השאלות כתובות באנגלית בלבד, ואין כאן עברית כלל, אם כי התמונות כוללות לפעמים אותיות לטיניות בשפות אחרות. הביצועים של המודל תלויים לחלוטין באיכות מנוע זיהוי התווים, ושגיאה בזיהוי מילה עלולה להכשיל את התשובה כולה. המדד של המאגר בודק התאמה מדויקת מול עשר התשובות ולא סולח על שגיאת כתיב קטנה שנבעה מפענוח התמונה. בנוסף, התמונות עשויות להכיל פרצופים, לוחיות רישוי ומסמכים שדורשים סינון זהיר.
שאלות
נפוצות
האם יש במאגר שאלות או טקסטים בעברית?
לא. השאלות כולן מנוסחות באנגלית בלבד. התמונות מציגות בעיקר אנגלית, עם מעט תווים לטיניים משפות נוספות.
מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון המוגדר הוא CC-BY 4.0 שמתיר שימוש מסחרי. החובה המרכזית שלכם היא להעניק קרדיט ברור ליוצרי המאגר המקוריים.
איך מוודאים שהתשובות של המתייגים אמינות?
במקום להסתמך על אדם יחיד, החוקרים אספו עשר תשובות שונות מעשרה אנשים עבור כל שאלה. חישוב הדיוק מתבצע לפי נוסחה שמשקללת את ההסכמה בין עשר התשובות האלה.
איך מחשבים ציונים על חלק המבחן?
התשובות עבור חלק המבחן אינן גלויות בקבצים ומוחזרות כמחרוזות ריקות. כדי לדעת את הציון, צריך להריץ את המודל על התמונות ולהעלות את קובץ התוצאות לאתר התחרות ב־EvalAI.
איך טוענים
טוענים את המאגר ישירות דרך הקוד בלי צורך באישור גישה ידני או מילוי טפסים. כל רשומה כוללת אובייקט תמונה מסוג PIL, את השאלה המקורית, מזהה תמונה, קישורים למקור בפליקר, ורשימת תשובות. הגישה לתמונות מפענחת את הקובץ ישירות, ולכן פנייה לא נכונה לעמודת התמונות עלולה להאט את הריצה מאוד, ומפתחי המאגר מציינים מפורשות לגשת קודם לאינדקס הרשומה ורק אז לעמודת התמונה.
from datasets import load_dataset
ds = load_dataset("facebook/textvqa")הרישיון
הרישיון המדווח הוא רישיון קריאייטיב קומונס מסוג ייחוס 4.0. המשמעות היא שניתן להשתמש בנתונים לצרכים מסחריים ומחקריים, לעבד אותם ולבנות עליהם מודלים. הדרישה העיקרית היא מתן קרדיט מתאים ליוצרי המאגר וציון שינויים שנעשו.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס