finer-139
קוד פתוחnlpauebcc-by-sa-4.02022-03-04
מעל מיליון משפטים מדוחות כספיים אמריקאיים מתויגים ב־139 ישויות של תקן XBRL. מי שבונה מודל להבנת מספרים ונתונים פיננסיים לפי הקשר ימצא כאן בסיס נדיר ומדויק.
- 640הורדות בחודש
- 28לייקים
מה זה
המאגר מכיל 1.1 מיליון משפטים באנגלית מתוך כעשרת אלפים דוחות שנתיים ורבעוניים שהוגשו לרשות ניירות הערך האמריקאית בין 2016 ל־2020. הטקסטים נחתכו ישירות מתוך ההערות לדוחות הכספיים באמצעות ביטויים רגולריים, והתיוגים מבוססים על עבודה שביצעו רואי חשבון מקצועיים כחלק מחובת הדיווח הרשמית.
בשונה ממשימות זיהוי ישויות רגילות שמחפשות שמות של אנשים או חברות, המוקד כאן הוא טוקנים מספריים. המשמעות של מספר נקבעת מההקשר התחבירי והעסקי שסביבו, ולא מהספרות עצמן. מתוך כ־6,000 ישויות הקיימות בתקן XBRL, החוקרים סיננו ובחרו את 139 הישויות הנפוצות ביותר שהופיעו לפחות 1,000 פעמים.
החלוקה הפנימית מוגדרת מראש וכוללת 900,384 משפטים לאימון, 112,494 לאימות, ו־108,378 למבחן. כל דוגמה כוללת מזהה מספרי, רשימת טוקנים, ומערך של תוויות מספריות לפי סכמת IOB2, שיוצרת בפועל 279 תוויות סיווג שונות.
מתאים ל
- חילוץ נתונים פיננסיים
זיהוי וקטלוג אוטומטי של מספרים וסכומים מתוך דוחות רווח והפסד והערות נלוות.
- אוטומציה לדיווחי XBRL
אימון מערכות לסיווג וסימון אוטומטי של דוחות חברות ציבוריות לקראת הגשה לרגולטור.
- הערכת מודלי שפה פיננסיים
בדיקת היכולת של מודלים להבדיל בין ערכים נומריים דומים על בסיס ההקשר העסקי שלהם בלבד.
איפה זה נופל
הנתונים מכסים אך ורק דוחות אמריקאיים באנגלית בתקן US-GAAP בין 2016 ל־2020. אין כאן מילה אחת בעברית, ואין התאמה לתקני דיווח מקומיים או ל־IFRS. בנוסף, מתוך אלפי תגיות XBRL קיימות נבחרו רק 139 הנפוצות ביותר, כך שהדאטהסט סובל מהטיה חדה לטובת מונחים סטנדרטיים. החוקרים גם מציינים שקיימות חוסר עקביות וטעויות בתיוג המקורי של רואי החשבון.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, רישיון CC-BY-SA-4.0 מאפשר שימוש מסחרי ומחייב ייחוס ליוצרים. עם זאת, סעיף שיתוף זהה דורש שכל שינוי או עיבוד של הדאטהסט ישוחרר תחת אותם תנאים פתוחים, מה שמחייב זהירות משפטית בחברות.
האם יש במאגר נתונים בעברית או מחברות ישראליות?
לא. כל 1.1 מיליון המשפטים נאספו מקבצי דיווח באנגלית שהוגשו ל־SEC האמריקאי בלבד. הוא אינו מותאם לעברית או לכללי החשבונאות הנהוגים בישראל.
במה המאגר הזה שונה ממאגרי ישויות רגילים?
מאגרי ישויות רגילים מחפשים שמות של חברות, אנשים או מקומות. המאגר הזה מתמקד במספרים ומשייך אותם ל־139 קטגוריות חשבונאיות ספציפיות, כשההבדל בין סעיף אחד לאחר תלוי לחלוטין בטקסט שמסביב למספר.
איך טוענים
טוענים את המידע ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה nlpaueb/finer-139. המאגר ציבורי לחלוטין ואין צורך באישורי גישה מיוחדים. כל רשומה כוללת את השדות id, tokens ו־ner_tags, כאשר התוויות מגיעות כמספרים שלמים וצריך לחלץ את שמות המחלקות המקוריים מתוך מאפייני המאגר.
from datasets import load_dataset
ds = load_dataset("nlpaueb/finer-139")הרישיון
הרישיון המדווח הוא CC-BY-SA-4.0. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, בתנאי שנותנים קרדיט מלא למחברים. המלכוד המשמעותי הוא סעיף השיתוף הזהה, שמחייב אתכם לשחרר כל נגזרת של המאגר או מאגר משופר תחת אותו רישיון בדיוק, נקודה שעלולה לסבך הפצה של מודלים קנייניים.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון