UniDoc-Bench
קוד פתוחSalesforcecc-by-nc-4.02025-10-09
המאגר כולל 1,742 שאלות ותשובות מולטימודליות על גבי 70,000 עמודי PDF אמיתיים. הוא מיועד לבדיקה של שליפת מידע מורכבת מתוך מסמכים שמשלבים טקסט, תמונות וטבלאות.
- 2,978הורדות בחודש
- 15לייקים
מה זה
הנתונים מחולקים לשמונה תחומים שונים: בריאות, משפטים, חינוך, ניהול קשרי לקוחות, אנרגיה, בנייה, מסחר ותעשייה, ופיננסים. בכל תחום יש בין 621 ל־1,100 מסמכי מקור בפורמט PDF, שמכילים חוזים, דוחות פיננסיים, מדריכים טכניים ומאמרים רפואיים.
כל רשומה היא צמד של שאלה ותשובה שמבוסס על עמודי המסמכים, ומסווג לפי סוג השאלה: שליפה עובדתית, השוואה, סיכום, או הסקה לוגית. הרשומות כוללות גם תיוג של סוג התשובה הנדרשת, כמו טקסט בלבד, תמונה בלבד, צורך בטבלה, או שילוב ביניהם. השאלות נוצרו באמצעות GPT-4.1 ועברו תיקוף מומחים על מדגם של עשרים אחוזים מכלל השאלות כדי לוודא את הדיוק שלהן.
מתאים ל
- הערכת מערכות RAG רב-ערוציות
בדיקת יכולת המערכת לשלוף עמודים נכונים מתוך אלפי מסמכי PDF שכוללים תרשימים וטבלאות.
- מבחן לשאלות ותשובות ויזואליות
הזנת תמונות העמוד ישירות למודלי ראייה-שפה כדי לבדוק הסקה מתמונות וטבלאות ללא שכבת אחזור.
- השוואת ביצועים בין תחומים
מדידת הדיוק של מודל קיים בשמונה עולמות תוכן נפרדים, כגון מסמכים משפטיים, רפואיים או דוחות הנדסה.
איפה זה נופל
כל הטקסטים והמסמכים במאגר הם באנגלית בלבד. אין כאן ייצוג לעברית או למסמכים מישראל, כך שאי אפשר להסיק ממנו על ביצועי מודל מול מסמכים מקומיים. המאגר מוגדר מראש כסט בדיקה בלבד ואינו כולל חלוקה לאימון. בנוסף, שמונים אחוזים מהשאלות לא עברו בדיקת מומחה אנושי אלא נוצרו אוטומטית על ידי מודל שפה, מה שעלול להשאיר הזיות או שאלות לא טבעיות בתוך הנתונים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא CC BY-NC 4.0 שמיועד לשימוש לא מסחרי בלבד. בנוסף, חל איסור להשתמש בנתונים לאימון מודלים שמתחרים ב־OpenAI מכיוון שהם נוצרו באמצעות GPT-4.1.
האם המאגר כולל עברית?
לא, כל המסמכים והשאלות במאגר הם באנגלית בלבד. אם המטרה היא לבדוק ביצועים על מסמכים בעברית, המאגר הזה לא יתאים.
כמה שוקל הדאטהסט ואיך מורידים את המסמכים?
קובצי הנתונים בפורמט Parquet קטנים ונטענים מיד דרך הספרייה, אך קובצי ה־PDF המכווצים שוקלים מעל חמישה וחצי גיגהבייט במצטבר. תחום הרפואה לבדו שוקל 1.19 גיגהבייט, והפיננסים שוקל כ־360 מגהבייט.
האם יש במאגר חלוקה לאימון ולבדיקה?
לא, המאגר מוגדר כולו כפיצול בדיקה שמכיל 1,742 צמדי שאלות ותשובות. הוא נועד למדידת ביצועים של מערכות ולא לאימון מודלים מאפס.
איך טוענים
טוענים את הרשומות ישירות באמצעות ספריית datasets של Hugging Face מתוך פיצול יחיד שנקרא test, ללא צורך באישור גישה מראש. הקבצים עצמם שמורים בפורמט Parquet, אך אם רוצים לבנות בסיס נתונים מלא למשימות אחזור, צריך להוריד בנפרד קובצי ארכיון מכווצים של מסמכי ה־PDF לכל תחום, בנפח כולל של מעל חמישה וחצי גיגהבייט. השדות הקריטיים לעבודה הם gt_image_paths שמצביע על העמודים המדויקים שבהם מסתתרת התשובה לצורך בדיקת אחזור, ו־longdoc_image_paths שמכיל את כלל נתיבי העמודים במסמך לצורך מענה ישיר על שאלות חזותיות.
from datasets import load_dataset
ds = load_dataset("Salesforce/UniDoc-Bench")הרישיון
המאגר מופץ תחת רישיון CC BY-NC 4.0 שמתיר שימוש מחקרי ולא מסחרי בלבד, תוך מתן קרדיט מתאים. מעבר למגבלת הרישיון הרגילה, היוצרים מבהירים שהנתונים נוצרו בעזרת מודל של OpenAI, ולכן חל איסור להשתמש בהם כדי לאמן מודלים שמתחרים בה.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא