FinCoT
קוד פתוחTheFinAIרישיון לא דווח2025-05-15
מאגר נתונים לפתרון שאלות פיננסיות מורכבות בעזרת שרשראות חשיבה מפורטות. מתאים למי שרוצה לאמן מודלים על חישובים מספריים, ניתוח טבלאות פיננסיות ודוחות עסקיים.
- 1,579הורדות בחודש
- 15לייקים
מה זה
המאגר מרכז שאלות ותשובות משבעה מקורות מוכרים בתחום הפיננסי: FinQA, ConvFinQA, TATQA, DocMath-Eval, Econ-Logic, BizBench-QA וגם DocFinQA. הרשומות מבוססות על טקסטים כלכליים, דוחות כספיים וטבלאות נתונים שדורשים הבנה עסקית, שליפת מידע רב שלבי וחישובים מתמטיים מדויקים על גבי מסמכים ארוכים.
במקום להסתפק בצמדי שאלה ותשובה קצרים, החוקרים הפעילו את GPT-4o כדי לייצר נתיבי חשיבה שלמים ומובנים לכל פריט. התהליך כלל איטרציות של אימות ושיפור של שלבי ההסקה. המבנה הכללי מחולק לשני קבצי נתונים עיקריים שמרמזים על מטרתם: קובץ ייעודי לאימון מונחה בשם SFT וקובץ נוסף המיועד ללמידה מחיזוקים בשם RL.
מתאים ל
- אימון שרשראות חשיבה
כוונון מודלים קטנים להסבר חישובים פיננסיים שלב אחר שלב.
- מענה על דוחות כספיים
אימון מערכות לשליפת נתונים מתוך טבלאות וטקסטים חשבונאיים.
- מחקר על דאטה סינתטי
בדיקת ההשפעה של הסברי GPT-4o על יכולת ההסקה של מודלי שפה.
איפה זה נופל
כל נתיבי החשיבה יוצרו בצורה סינתטית על ידי GPT-4o, ולכן יש סכנה להזיות עדינות בחישובים מורכבים שאימות אוטומטי מפספס. כל המקורות הם באנגלית ומתרכזים בדיווחים פיננסיים גלובליים, בעיקר אמריקאיים, כך שאין כאן התאמה למונחים מקומיים או לדוחות בעברית. לפני שמכניסים מודל כזה לשימוש אמיתי, צריך לבדוק ידנית מדגם של שרשראות החשיבה ולוודא שהמודל לא ממציא מסקנות פיננסיות שנראות הגיוניות על פני השטח אך שגויות במספרים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. אחד המקורות המרכזיים במאגר, Econ-Logic, מופץ תחת רישיון לא מסחרי של CC BY-NC-SA 4.0, ולמאגר עצמו אין רישיון כולל מוגדר.
האם יש בדאטהסט נתונים בעברית?
אין בכלל עברית. כל שבעת המאגרים המקוריים מבוססים על דוחות כספיים ומסמכים באנגלית, וגם נתיבי החשיבה שנוצרו על ידי GPT-4o נכתבו באנגלית בלבד.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
המידע שמור בשני קבצי parquet עיקריים, אחד לאימון מונחה ואחד ללמידת חיזוקים. אפשר לטעון אותם בקלות בסביבת פייתון באמצעות ספריית datasets או ישירות דרך pandas ללא צורך בהרשאות גישה מיוחדות.
מה מייחד אותו לעומת מאגרי FinQA ו־TATQA הרגילים?
הייחוד הוא תוספת נתיבי החשיבה המפורטים. במקום לקבל רק את השאלה והתשובה הסופית, המאגר מספק פירוק מעמיק של תהליך ההסקה והחישוב שבוצע על ידי מודל שפה חזק.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה TheFinAI/FinCoT. המאגר כולל בסך הכל ארבעה קבצים, והמידע עצמו מחולק לשני קבצי parquet נפרדים: אחד ללמידה מונחית והשני לחיזוקים. הגישה פתוחה לחלוטין ואין צורך בהרשאה מיוחדת, כאשר המיקוד המרכזי בעבודה עם הנתונים הוא עיבוד שדות השאלה, ההקשר הטקסטואלי או הטבלאי, ונתיב החשיבה המפורט שנוצר בתהליך העיבוד.
from datasets import load_dataset
ds = load_dataset("TheFinAI/FinCoT")הרישיון
המאגר עצמו פורסם ללא הגדרת רישיון רשמית בעמוד הראשי, אך הנתונים נלקחו ממאגרים שונים בעלי תנאים סותרים. חלקם ברישיונות חופשיים כמו Apache 2.0 ו־MIT, אך Econ-Logic מוגן תחת רישיון CC BY-NC-SA 4.0 האוסר שימוש מסחרי ומחייב שיתוף זהה. ערבוב המקורות הזה מונע שימוש מסחרי בטוח במודלים שאומנו על הדאטהסט המלא, ומשאיר אותו מתאים בעיקר למחקר אקדמי.