FinReflectKG
קוד פתוחdomyncc-by-nc-4.02025-09-01
מעל 17.5 מיליון שלשות יחסים מנורמלות שחולצו מדוחות שנתיים של חברות מדד אס אנד פי 500. זה מאגר ממוקד לבניית גרפי ידע פיננסיים עם הקשר טקסטואלי מלא ותיחום זמנים.
- 558הורדות בחודש
- 23לייקים
מה זה
כל שורה במאגר מכילה עובדה מובנית במבנה של ישות, יחס וישות יעד, לצד חלון הטקסט המקורי שממנו המידע נשלף. הנתונים נאספו ישירות מדוחות עשר קיי רשמיים שהוגשו לרשות ניירות הערך בארצות הברית בין השנים 2014 ל 2024, ומכסים 743 תאגידים שנסחרו במדד לאורך העשור.
החילוץ מפרק את המלל הפיננסי ל 24 סוגי ישויות שונים, כולל חברות, מנהלים, רגולטורים, סיכונים תאגידיים, מדדים כלכליים ונושאי ממשל תאגידי וסביבתי. הישויות עברו נרמול באמצעות למטיזציה, והמאגר מצמיד לכל קשר גם תאריכי התחלה וסיום לפי חודש ושנה, או חותמת ברירת מחדל כשהדיווח אינו נושא תאריך מדויק.
מתאים ל
- אימון מודלי יחסים פיננסיים
אימון מודלים לחילוץ ישויות וקשרים מורכבים מתוך דוחות תאגידיים וטקסטים רגולטוריים.
- בניית גרף ידע לתאגידים
מיפוי קשרים, מתחרים, תלות בספקים וגורמי סיכון של מאות חברות גדולות על פני עשור.
- אחזור מידע מבוסס הקשר פיננסי
שיפור מערכות אחזור לשאלות ותשובות על ידי חיבור קטעי הדוח המקוריים לקשרים המובנים.
איפה זה נופל
הנתונים מתבססים אך ורק על תאגידים אמריקאיים גדולים מדוחות רשמיים באנגלית. אין כאן שום ייצוג לשווקים אחרים, לחברות פרטיות או לעברית, כך שהוא לא יעזור ישירות לניתוח חברות מקומיות בבורסה בתל אביב. בנוסף, חילוץ הזמנים אינו מושלם. השדה של סוג החילוץ מציג ערך ברירת מחדל בכל פעם שהתאריכים לא נלכדו במפורש מהטקסט, מה שמחייב סינון קפדני לפני שמסתמכים על ציר הזמן במחקר כמותי.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח כלי מסחרי?
לא, הרישיון המוגדר הוא לא מסחרי בלבד. אי אפשר לבנות בעזרתו מוצר שנמכר ללקוחות או מודל שמייצר רווח ישיר. המאגר מיועד לעבודה אקדמית ולמחקר בלבד.
האם יש במאגר נתונים בעברית או על חברות ישראליות?
המאגר כולו באנגלית ומבוסס על הגשות לרשות ניירות הערך בארצות הברית. חברות ישראליות עשויות להופיע רק אם הן מוזכרות כספקיות, מתחרות או לקוחות בדוחות של חברות אס אנד פי 500. אין כאן כיסוי לדיווחים מקומיים בעברית.
איך המידע חולץ ומאיפה הוא מגיע?
המקור הוא קובצי עשר קיי רשמיים של 743 חברות ציבוריות בין השנים 2014 ל 2024. החילוץ בוצע באמצעות סוכנים ומודלי שפה שפירקו את הדוחות לפסקאות, זיהו שלשות יחסים וביצעו נרמול לישויות ולקשרים.
באיזה היקף נתונים מדובר ואיך מומלץ לגשת אליהם?
המאגר מכיל 17,513,372 רשומות המחולקות ל 104 קובצי פארקט. מומלץ מאוד לא למשוך את כל המאגר בבת אחת לזיכרון העבודה, אלא לבצע סטרימינג או לסנן מראש לפי טיקר ושנה.
איך טוענים
הקריאה מתבצעת ישירות בספריית הדאטהסטס של האגינג פייס ללא צורך באישור גישה מוקדם. בפועל המידע מפוצל ל 104 קובצי פארקט שונים, ומכיל מעל 17.5 מיליון רשומות, כך שטעינה מלאה לזיכרון המקומי דורשת משאבים כבדים. מומלץ לסנן מראש ברמת הקריאה לפי שדות הטיקר, שנת הדיווח, או סוג היחס כדי לעבוד רק על המקטע הרלוונטי למחקר.
from datasets import load_dataset
ds = load_dataset("domyn/FinReflectKG")הרישיון
המאגר מופץ תחת רישיון קריאייטיב קומונס ייחוס לא מסחרי 4.0. המשמעות היא שאין שום אפשרות חוקית להטמיע את הנתונים במערכת מסחרית, במוצר בתשלום או לאמן עליו מודלים שמיועדים למכירה. השימוש מוגבל למחקר אקדמי, ניסויים פנימיים או בדיקות היתכנות, ומחייב מתן קרדיט ליוצרים המקוריים.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא