ChineseOCRBench
קוד פתוחSWHLapache-2.02024-04-30
בנצ'מרק להערכת יכולות זיהוי טקסט ותשובות לתמונות בסינית עבור מודלי ראייה שפה. הוא מאגד משימות קיימות כדי לבדוק קריאת שלטים וטקסט ויזואלי מהעולם האמיתי.
- 288הורדות בחודש
- 26לייקים
מה זה
המאגר מיועד לבדיקת מודלים מולטימודליים על משימות פענוח כתב בסינית, תחום שבו לטענת היוצרים קיים מחסור במבחנים ייעודיים. הנתונים לא נאספו מאפס, אלא נלקחו ישירות מתוך הפרויקט MultimodalOCR והמאמר הנלווה לו. החוקרים שלפו מתוכו את החלקים שמתמקדים בסינית ואיחדו אותם לנקודת בדיקה אחת.
סך הכל יש כאן 3410 תמונות ולכל אחת מהן צמודה שאלת הבנה אחת עם תשובה תואמת. החלוקה הפנימית מבוססת על שני מקורות: 2701 שאלות ותמונות מגיעות מתוך ReCTS, ועוד 709 מגיעות מתוך ESTVQA. הרשומות מציגות שאלות על טקסט שמופיע בתמונה, כמו זיהוי שמות של חנויות או קריאת משפטים על גבי שלטים.
מתאים ל
- הערכת מודלי ראייה שפה
בדיקת ביצועים של מודלים מולטימודליים על משימות פענוח טקסט סיני מתמונות.
- מבחן שאילתות על שלטים
בדיקת יכולת המודל לענות על שאלות בנוגע לשמות עסקים ומוצרים מתוך תמונות רחוב.
- השוואת מודלים למאמר המקור
שחזור תוצאות והשוואת ביצועים מול הממצאים שפורסמו בפרויקט MultimodalOCR.
איפה זה נופל
המאגר הזה מוגבל מאוד בהיקף ובמטרה שלו. הוא כולל 3410 דוגמאות בלבד, כולן בסינית וכולן מיועדות למבחן ולא לאימון. אין כאן אף מילה בעברית או באנגלית, כך שהוא לא יעזור למוצר מקומי אלא אם אתם בונים משהו ייעודי לשוק הסיני. מעבר לזה, אין פה מידע על אופן סינון השגיאות או הטעויות במקור, והוא מסתמך לחלוטין על איכות התיוג של ReCTS ושל ESTVQA.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. המאגר מכיל אך ורק תמונות עם טקסט בסינית, והשאלות והתשובות כתובות בסינית בלבד. הוא לא מתאים לפיתוח או לבדיקה של יישומים בעברית.
מותר להשתמש בדאטהסט הזה למוצר מסחרי?
המאגר מפורסם תחת רישיון apache-2.0 שמתיר שימוש מסחרי מלא בלי לחייב פתיחת קוד. יחד עם זאת, הנתונים נלקחו ממאגרי ReCTS ו־ESTVQA, ולכן מומלץ לבדוק את תנאי המקור של התמונות עצמן לפני שילוב במערכת מסחרית.
האם יש כאן חלוקה לטריין וטסט?
לא. המאגר מכיל ספליט אחד בלבד בשם test עם 3410 דוגמאות. הוא נבנה ככלי מדידה בלבד, ולא כמערך המיועד לאימון מודלים מחדש.
מה המקור של הנתונים במאגר?
הנתונים נלקחו ישירות מתוך הפרויקט MultimodalOCR שפורסם במאמר מ־2023. הם מורכבים מ־2701 דוגמאות מתוך ReCTS ועוד 709 דוגמאות מתוך ESTVQA, שרוכזו יחד כדי לספק בנצ'מרק ייעודי לסינית.
איך טוענים
טוענים את הנתונים ישירות דרך הספרייה datasets באמצעות load_dataset עם הנתיב SWHL/ChineseOCRBench. אין צורך באישור גישה מראש והמאגר פתוח להורדה. החבילה מכילה ספליט בדיקה יחיד בשם test שמגיע מכווץ בקובץ zip. כל רשומה כוללת את התמונה עצמה בפורמט PIL, מזהה ייחודי, שם קובץ המקור, שיוך למאגר המקורי, את השאלה בסינית ואת התשובה הנכונה. היוצרים ממליצים להריץ את ההערכה בשילוב עם הסקריפטים של MultimodalOCR.
from datasets import load_dataset
ds = load_dataset("SWHL/ChineseOCRBench")הרישיון
הרישיון המדווח הוא apache-2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את המודלים שלכם תחת אותו רישיון. תנאי השימוש דורשים מתן קרדיט ושמירה על הודעות זכויות היוצרים המקוריות. עם זאת, מאחר שהתמונות נלקחו ממאגרי ReCTS ו־ESTVQA, כדאי לוודא שהרישיונות המקוריים של התמונות עצמן אינם כוללים מגבלות נוספות מעבר לרישיון של המאגר הזה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים