vidore_v3_finance_en
קוד פתוחvidorecc-by-4.02025-11-05
מאגר לבדיקת אחזור מסמכים פיננסיים מורכבים באנגלית, הכולל דוחות בנקאיים סרוקים, תמונות עמודים, שאלות ותיחום ויזואלי של התשובות.
- 2,947הורדות בחודש
- 17לייקים
מה זה
המאגר מבוסס על שישה דוחות שנתיים מלאים מסוג 10-K של מוסדות פיננסיים גדולים בארצות הברית לשנת הכספים שהסתיימה בדצמבר 2024, כמו בנק אוף אמריקה, סיטיגרופ וגולדמן זאקס. בסך הכל נכללים בו 2,942 עמודים, שמגיעים גם כקובצי PDF מקוריים וגם כתמונות עמוד בודדות לצד טקסט שחולץ באמצעות OCR למבנה מרקדאון.
המבנה מחולק לשלושה חלקים מרכזיים: הקורפוס עצמו, קובץ שאילתות וקובץ מיפוי רלוונטיות. יש כאן 1,854 שאילתות, או 309 שאילתות ייחודיות ללא תרגומים, שנוצרו על ידי אדם או במודלים סינתטיים. כל שאילתה מוצמדת לעמודים רלוונטיים בדירוג של רלוונטיות מלאה או חלקית, ומכילה תשובות אנושיות לצד סימון מדויק של תיבות תוחמות על גבי התמונה.
מתאים ל
- הערכת מנועי RAG פיננסיים
מדידת יכולת השליפה של עמודים וטבלאות מתוך דוחות בנקאיים ארוכים ומורכבים.
- בדיקת מודלי אחזור ויזואליים
בחינת מודלים שמאתרים מידע לפי תמונת העמוד המלאה ולא רק מטקסט גולמי.
- אימות איתור מידע בתיחום גרפי
הערכת הדיוק באיתור האזור הספציפי בדף שבו מופיעה התשובה לפי התיבות המסומנות.
איפה זה נופל
ההטיה כאן ברורה מאוד: הכל באנגלית ומוגבל לשישה דוחות בנקאיים אמריקאיים בלבד מאותה שנת מס. אין כאן מגוון של ענפים אחרים, אין דוחות של חברות קטנות ואין בכלל עברית. בנוסף, חילוץ הטקסט נשען על צינור OCR שעלול לכלול שגיאות בקריאת טבלאות צפופות, והשאלות הסינתטיות עלולות לפספס ניסוחים של משתמשים אמיתיים. אם אתם בונים כלי לשוק המקומי או לדוחות בעברית, המאגר הזה לא ישקף את האתגרים שלכם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
השאלות, התשובות והציונים מותרים לשימוש מסחרי תחת רישיון CC-BY-4.0 עם מתן קרדיט. הדוחות עצמם הם מסמכים פומביים של בנקים אמריקאיים, אבל זכויות היוצרים עליהם שייכות למפרסמים המקוריים ולא ליוצרי המאגר. כדאי לבדוק את שדה הרישיון בקובץ המטא-דאטה לפני שימוש מסחרי במסמכים עצמם.
האם המאגר כולל תוכן בעברית?
לא. כל המסמכים הם דוחות 10-K של בנקים אמריקאיים באנגלית בלבד. השאילתות המקוריות נכתבו באנגלית, כך שאין כאן התאמה לפיתוח או לבדיקה של מודלים מבוססי עברית.
איך נוצרו השאלות והתיוגים בדאטהסט?
המאגר משלב שאלות שנכתבו בידי אדם יחד עם שאלות שנוצרו בצורה סינתטית במודלים. התשובות הרלוונטיות בעמודים והתיבות התוחמות שסביבן אומתו על ידי מתייגים אנושיים, והתשובה המאוחדת גובשה באמצעות מודל שפה על בסיס אותן הערות.
מה מייחד את המאגר הזה לעומת מאגרי טקסט רגילים?
הוא לא מכיל רק טקסט שטוח אלא מספק את תמונות העמודים המקוריות וציוני רלוונטיות לפי מיקום גרפי. זה מאפשר לבדוק מודלים שמנתחים מבנה עמוד, טבלאות ותרשימים פיננסיים בדיוק בנקודה שבה OCR רגיל נוטה להישבר.
איך טוענים
טוענים את הנתונים דרך ספריית הדאטהסטים הרגילה של האגינג פייס. המאגר כולל 15 קבצים, ביניהם קובצי פארקט המחולקים לחלקי טסט עבור הקורפוס, השאילתות והמטא-דאטה, לצד תיקיית קובצי PDF מקוריים. אין צורך באישור גישה מיוחד כדי להוריד. אם אתם עובדים עם מודלים ויזואליים, השדה החשוב הוא תמונת העמוד ותיבות הסימון ב־qrels, ואם אתם בוחנים מודלי טקסט סטנדרטיים, אפשר להשתמש ישירות בשדה המרקדאון.
from datasets import load_dataset
ds = load_dataset("vidore/vidore_v3_finance_en")הרישיון
ההערות, השאילתות, התשובות והתיבות התוחמות שנוצרו לפרויקט מופצות תחת רישיון CC-BY-4.0, שמאפשר שימוש מסחרי, שינוי והפצה כל עוד נותנים ייחוס הולם ליוצרים. עם זאת, מסמכי המקור עצמם, קובצי ה־PDF והטקסט שחולץ מהם, שומרים על הזכויות המקוריות של הבנקים שפרסמו אותם. הרישיון של כל מסמך מקור מוגדר בנפרד במטא-דאטה.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס