MWS-Vision-Bench

מה זה

המאגר כולל 1,302 דוגמאות שנבנו על בסיס 400 תמונות ייחודיות בלבד. המקורות מחולקים למסמכים עסקיים כמו סריקות, גיליונות, תרשימים ותוכניות הנדסיות, ולמסמכים אישיים הכוללים כתבי יד ופנקסים. הכרטיס לא מפרט כיצד הנתונים נאספו בפועל או באילו שיטות סינון השתמשו.

הבדיקה מתחלקת לחמש משימות עיקריות: ניתוח מבנה מסמך עם 243 דוגמאות, זיהוי טקסט מלא של עמוד שלם עם 144 דוגמאות, חילוץ ישויות מפתח עם 119 דוגמאות, שאלות הבנה ויזואלית עם 400 רשומות, והצבעה על אזורי טקסט ספציפיים עם 396 דוגמאות. השאלות עצמן זמינות בשלוש גרסאות: רוסית, אנגלית וסינית.

מתאים ל

• הערכת מודלי ראייה ברוסית

  בדיקת ביצועי מודלי שפה רב-מודליים על חילוץ נתונים מדפי חשבון, תרשימים וטפסים בשפה הרוסית.

• מדידת חילוץ ישויות מטפסים

  בחינת יכולת של מודל למשוך שדות מוגדרים מתוך סריקות מסמכים עסקיים לתבניות JSON.

• בדיקת יכולות פענוח כתב יד

  מדידת הדיוק של מערכות OCR על מחברות, פתקים ומסמכים אישיים הכתובים ביד.

איפה זה נופל

החיסרון המרכזי הוא שמדובר ב־400 תמונות בלבד, מה שהופך אותו לסט קטן שמיועד להערכה ולא לאימון. התוכן כולו מתמקד בשפה הרוסית ובמסמכים מקומיים, ללא שום ייצוג לעברית. בנוסף, קטגוריית מניעת הונאות לא נכללת בציון הכללי ודורשת מאגר נפרד, ומשימת ההצבעה על אזורי טקסט מציגה ביצועים נמוכים מאוד אצל רוב המודלים שנבחנו בלוח התוצאות.

איך טוענים

טוענים את הנתונים באמצעות load_dataset עם שם המאגר, כאשר אפשר לבחור קונפיגורציה שונה לאנגלית או סינית. המאגר מכיל קובצי תמונה בפורמט JPG וקובצי Parquet, לצד קובץ הגדרות JSONL. לכל רשומה יש מזהה, סוג המשימה, שם תת המאגר, נתיב לתמונה, השאלה ומערך תשובות חוקיות כמחרוזות. אין צורך באישור גישה מיוחד כדי להוריד את קובצי הוולידציה.

from datasets import load_dataset

ds = load_dataset("MTSAIR/MWS-Vision-Bench")

הרישיון

קיים חוסר התאמה מובהק בכרטיס. במטא-דאטה מוגדר רישיון cc-by-4.0 שמתיר שימוש מסחרי ועריכה בכפוף למתן קרדיט, אך בגוף הטקסט נכתב שהפרויקט תחת רישיון MIT. שני הרישיונות מתירים שימוש מסחרי ואינם כופלים שיתוף זהה, אך מומלץ לוודא את הסטטוס המשפטי מול היוצרים לפני שמשלבים נתונים אלה במוצר מסחרי.

• שימוש מסחרי
• שינוי הקוד
• חובת ייחוס

הרישיון המלא ב־Hugging Face ↗