fc-amf-ocr
קוד פתוחlightonaiרישיון לא דווח2024-09-11
מעל תשעה מיליון עמודי מסמכים פיננסיים בצרפתית ובאנגלית, עם תיוגי תיבות טקסט מלאים וציוני ביטחון. בסיס אימון ענק למודלי תמונה לטקסט שלא רוצים להסתמך בו על שכבות טקסט עיוורות בתוך קובצי PDF.
- 771הורדות בחודש
- 24לייקים
מה זה
המאגר כולל 605,438 קובצי PDF מקוריים שמכילים יחד 9.3 מיליון עמודים, כולם מתוך מסמכים רשמיים של רשות שוק ההון הצרפתית שפורסמו בין השנים 2008 ל־2024. נקודת המוצא היתה מאגר קודם שכלל טקסט גולמי רצוף ומלא שגיאות רווחים, ולכן היוצרים הריצו על כל המסמכים מנוע זיהוי תווים מחדש, ברזולוציה מקורית וללא דחיסה פוגענית.
הסינון הראשוני הסיר פחות מאחוז מהחומר, בעיקר קבצים פגומים, מסמכים שלקח יותר מדי זמן לפענח אותם וקבצים באורך של מעל 500 עמודים. הממוצע במסמך עומד על 15 עמודים והחציון על שני עמודים בלבד. כל הדאטה יושב בחלוקת אימון יחידה, ללא חלוקה מובנית למבחן או אימות, כשכל רשומה היא צמד של קובץ המקור וקובץ תיוגים דחוס.
מתאים ל
- אימון מודלי שפה חזותיים
לימוד ראשוני של מודלי ראייה גדולים על מסמכים מרובי טקסט וגרפיקה באנגלית ובצרפתית.
- פיתוח מנועי פענוח מסמכים
אימון רכיבי זיהוי תווים ומיפוי מיקומי מילים לפי קואורדינטות מדויקות על פני עמוד.
- סינון ומיון מסמכים פיננסיים
בניית מערכות שמזהות סוגי דוחות ותוכן מורכב לפי ציוני ביטחון ופיזור גושי הטקסט.
איפה זה נופל
הטקסטים נוצרו על ידי מודל ראייה ממוחשבת ולא בידי אדם, ולכן הם כוללים טעויות זיהוי, במיוחד כשהאיכות ירודה. התוכן מכסה אך ורק אנגלית וצרפתית, והמנוע אינו מותאם לשפות אחרות. אין כאן מילה אחת בעברית, וכל המסמכים מגיעים מעולם התוכן הפיננסי הממשלתי בצרפת, מה שמייצר הטיה ברורה של אוצר מילים ומבנה מסמכים. בנוסף, המאגר לא מספק סדר קריאה מובנה בין התיבות בעמוד, כך שצריך לבנות היוריסטיקה עצמאית כדי לחבר את המילים לפסקאות הגיוניות לפני השימוש.
שאלות
נפוצות
האם יש במאגר תמיכה בעברית?
לא. המאגר מכיל מסמכים באנגלית ובצרפתית בלבד, שמקורם ברגולטור הפיננסי הצרפתי. מנוע הזיהוי שבו השתמשו לא אומן על עברית ולא יזהה תווים בעברית.
מותר להשתמש בדאטהסט לפיתוח מסחרי?
הרישיון לא דווח בעמוד המאגר. היוצרים מציינים שהזכויות תלויות ברישיון של מאגר המקור הצרפתי, ולכן בלי בדיקה משפטית מעמיקה לא מומלץ להכניס אותו לצנרת של מוצר מסחרי.
כמה מקום המאגר תופס בדיסק?
המאגר מורכב מ־838 קובצי טאר שכל אחד מהם שוקל סביב 500 מגה-בייט. בסך הכל תצטרכו לפחות 420 ג'יגה-בייט פנויים רק לקבצים המכווצים, ועוד מקום רב אם תרצו לרנדר את המסמכים לתמונות.
האם הטקסט כולל סדר קריאה נכון של הפסקאות?
לא. היוצרים נמנעו במכוון מעיבוד שקובע סדר קריאה. המאגר מספק רק תיבות מתוחמות וציוני ביטחון, ותצטרכו לממש לוגיקה משלכם כדי לסדר את המילים מההתחלה לסוף.
איך טוענים
הקבצים מאורגנים בפורמט ווב-דאטהסט בתוך 838 קובצי טאר מכווצים, בערך 500 מגה-בייט לכל קובץ, כך שמדובר במאות ג'יגה-בייט בסך הכל. אין צורך בבקשת גישה מיוחדת, והטעינה יכולה להתבצע ישירות בהזרמה דרך ספריית הדאטהסטים של הפינג פייס או בהורדה מקומית מלאה של כל הקבצים. כל דגימה מחזירה מזהה, קובץ פי-די-אף בינארי וקובץ ג'ייסון דחוס שמחזיק רשימת עמודים עם רמות היררכיה של בלוקים, שורות ומילים, כולל קואורדינטות מנורמלות וציון ביטחון לכל מילה. כדי להמיר את העמודים לתמונות בפועל צריך להתקין כלים חיצוניים כמו פופלר.
from datasets import load_dataset
ds = load_dataset("lightonai/fc-amf-ocr")הרישיון
הרישיון הרשמי לא סומן במאגר ולא מוגדר בעמוד. היוצרים מציינים שהרישיון נגזר מזה של מאגר המקור, אך בהיעדר הגדרה משפטית ברורה אי אפשר לדעת אם מותר להשתמש בו למוצרים מסחריים, מה דרישות הייחוס, והאם אימון מודל על הנתונים כובל אתכם לחלוקת המשך. לשימוש מסחרי בישראל זו נקודת תורפה רצינית שמחייבת בדיקה משפטית מול מקורות המידע המקוריים.