MDPBench

מה זה

המאגר כולל 3,400 תמונות של מסמכים שנחלקים למסמכים דיגיטליים נקיים ולמסמכים מצולמים בתנאי שטח. התמונות מכסות 17 שפות שונות, ביניהן סינית פשוטה ומסורתית, אנגלית, ערבית, גרמנית, ספרדית, צרפתית, הינדי, אינדונזית, איטלקית, יפנית, קוריאנית, פורטוגזית, רוסית, תאילנדית וויאטנמית. הדגש כאן הוא על מגוון סקריפטים ומערכות כתב שאינן לטיניות, לצד בדיקה של תנאי צילום קשים שכוללים תאורת פנים וחוץ, קיפולים, צללים, טשטוש וזוויות שונות. המאגר מכיל 2,724 קבצים פתוחים לציבור, יחד עם חלוקה לסט פומבי וסט פרטי שנשמר חסוי לצורך בדיקה נקייה מדליפת נתונים.

תהליך יצירת התיוגים שמאחורי הקבצים התבסס על שילוב של מודלי מומחה שחילצו את הטקסט הראשוני, ולאחר מכן עבר תיקון ידני ובקרה אנושית מדוקדקת. שמות הקבצים במאגר משקפים באופן ישיר את סוג המסמך, השפה ותנאי הסביבה שבהם הוא צולם, כמו מאמרים אקדמיים בערבית שצולמו תחת פלאש, בזווית אלכסונית או עם קמטים בדף.

מתאים ל

• הערכת עמידות של מודלי ראייה

  מדידת הדיוק של מערכות OCR ו־VLM מול מסמכים אמיתיים שמכילים עיוותים, צללים, קיפולים ותאורה לקויה.

• מבחן ביצועים רב לשוני

  בדיקת התמודדות של מודלים עם אלפבית שאינו לטיני כמו ערבית, יפנית, רוסית והינדי.

• השוואת מודלים פתוחים לסגורים

  בחינה אובייקטיבית של פערי איכות בניתוח מסמכים בין פתרונות מסחריים כמו Gemini לבין מודלי משקל פתוח.

איפה זה נופל

החיסרון המרכזי עבור מפתחים ישראלים הוא היעדר מוחלט של עברית, למרות הנוכחות של ערבית ושפות לא לטיניות אחרות. בנוסף, מדובר במאגר הערכה בלבד ולא במאגר אימון, כך שאי אפשר להשתמש בו ישירות לכוונון מודלים. הנתונים מתעדים ירידה משמעותית בביצועים של מודלים פתוחים, שנפלו בממוצע ב־17.8% במסמכים מצולמים וב־14% בכתב שאינו לטיני, עם תוצאות נמוכות במיוחד במודלים קטנים על שפות כמו הינדי וערבית. כדאי לבדוק היטב את תאימות הפורמט למבנה הנתונים הפנימי שלכם לפני שמבססים עליו ציון סופי למוצר.

איך טוענים

טוענים את הנתונים דרך ספריית הדאטהסטים של Hugging Face באמצעות המזהה Delores-Lin/MDPBench ללא צורך בהרשאה מוקדמת או אישור גישה מיוחד. המאגר כולל 2,724 קבצים בפורמט תמונה כמו JPG ו־JPEG יחד עם קובצי התיוג והחלוקות לערכות המבחן. חשוב לשים לב לשמות הקבצים שמפרטים את המטא-דאטה על תנאי התאורה והעיוות הפיזי, שכן הם מאפשרים לפלח את הביצועים לפי הפרעות ספציפיות כמו טשטוש או קיפול. לפני שמריצים הערכה רחבה, כדאי לוודא שהתשתיות שלכם תומכות בטעינה ועיבוד יעיל של תמונות ברזולוציה מלאה עבור מודלי שפה חזותיים.

from datasets import load_dataset

ds = load_dataset("Delores-Lin/MDPBench")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון הזה מתיר שימוש מסחרי חופשי, שינוי של הנתונים והפצה מחודשת שלהם. מותר לבדוק ולהעריך בעזרתו מודלים קנייניים או פתוחים ללא הגבלה, ואין חובה לפתוח את הקוד של המוצר שלכם. הדרישה העיקרית היא הכללת עותק הרישיון המקורי ומתן ייחוס מתאים ליוצרים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗