auditor_sentiment
קוד פתוחFinanceIncרישיון לא דווח2022-07-21
משפטים מתוך חדשות פיננסיות עם תיוג סנטימנט שבוצע בידי מומחים לתחום. המאגר מתאים למי שרוצה לדייק מודל סיווג על טקסטים של רואי חשבון ודוחות כספיים.
- 290הורדות בחודש
- 28לייקים
מה זה
המאגר כולל 4,840 משפטים שנלקחו מדיווחי חדשות פיננסיים באנגלית, שנכתבו בידי רואי חשבון שונים. כל רשומה כוללת שני שדות פשוטים בלבד: משפט שעבר טוקניזציה, ותווית סנטימנט שנעה בין חיובי, ניטרלי לשלילי. היוצרים מציינים שהמטרה הייתה לשפר ביצועים של מודלי מדף, שהגיעו רק לתוצאת F1 של 70% על הטקסטים האלה.
הטקסטים מבוססים על הדאטהסט המוכר Financial Phrasebank, אך כאן מדובר בתת קבוצה ספציפית. 16 מתייגים בעלי רקע מתאים בשווקים הפיננסיים עברו על החומרים, והמאגר הנוכחי שמר רק משפטים שבהם הייתה הסכמה של יותר מ 75% בין המתייגים השונים. החלוקה הפנימית בוצעה בצורה אקראית, כאשר 75% מהנתונים מוקצים לאימון ו 25% הנותרים משמשים לבדיקה.
מתאים ל
- כיוונון מודל סיווג פיננסי
אימון שכבת סיווג אחרונה על משפטים מתוך דוחות וחדשות באנגלית, כדי לזהות נימה חיובית או שלילית.
- הערכת ביצועים של מודל קיים
בדיקת הדיוק של מודל שפה כללי על מונחים ודיווחים חשבונאיים באמצעות סט הבדיקה הנפרד.
- סינון חדשות שוק ההון
זיהוי אוטומטי של טון הדיווח בידיעות כלכליות על ביצועי חברות ורווחי רבעון.
איפה זה נופל
כל 16 המתייגים הגיעו מאותו ארגון, עובדה שמייצרת הטיה מובנית באופן שבו הם מפרשים את הדיווחים. בנוסף, המאגר כולו מוגבל לאנגלית בלבד ולא יעזור בכלל לניתוח דוחות או חדשות בעברית. היקף של 4,840 משפטים בלבד לא יספיק לאימון מודל מאפס אלא רק לכיוונון עדין או בדיקות, ותצטרכו לבדוק בעצמכם איך הוא מתמודד עם ניסוחים פיננסיים מודרניים שחורגים מהמקור.
שאלות
נפוצות
האם מותר להשתמש במאגר למוצר מסחרי?
לא. למרות שבדף הראשי לא מוגדר רישיון, בתיעוד הפנימי כתוב שהנתונים שייכים לארגון פרטי תחת האיסור DO NOT SHARE. שימוש מסחרי במצב כזה הוא סיכון משפטי ברור.
האם הנתונים כוללים עברית?
לא. כל 4,840 המשפטים מבוססים על חדשות פיננסיות ודוחות באנגלית בלבד. אם אתם צריכים לנתח דיווחי מאיה או עיתונות כלכלית מקומית, תצטרכו לאסוף ולתייג נתונים בעצמכם.
איך הנתונים נאספו ותויגו?
הטקסטים נלקחו מדיווחי חדשות של רואי חשבון ומבוססים על Financial Phrasebank. צוות של 16 מומחים פיננסיים מאותו מוסד תייג את הסנטימנט, והמאגר כולל רק משפטים שזכו להסכמה של מעל 75% ביניהם.
כמה המאגר שוקל וכמה זמן לוקח להוריד אותו?
מדובר בקבצים זעירים בפורמט Parquet שמכילים פחות מחמשת אלפים שורות קצרות. ההורדה והטעינה למחשב או לסביבת ענן אורכות שניות ספורות.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets הרגילה. המאגר קטן מאוד, בין אלף לעשרת אלפים רשומות, ומאוחסן בשני קובצי Parquet נפרדים לאימון ולבדיקה כך שההורדה מסתיימת תוך שניות בודדות. אין צורך באישור גישה מיוחד. בעבודה עם הרשומות תפגשו רק את הטקסט בשדה sentence ואת הסיווג בשדה label, שמגיע כמחרוזת או כערך מספרי מ 0 עד 2.
from datasets import load_dataset
ds = load_dataset("FinanceInc/auditor_sentiment")הרישיון
רשמית לא דווח רישיון במטא דאטה, אבל בגוף הטקסט מופיעה אזהרה מפורשת שהחומר שייך לארגון פרטי ואסור לשיתוף. במצב כזה אסור להשתמש במאגר לפיתוח מוצרים מסחריים. אימון מודל על נתונים שמוגדרים כקנייניים וללא רישיון שימוש מסודר חושף אתכם לתביעות של זכויות יוצרים, ולכן עדיף להגביל את השימוש למחקר פנימי בלבד או לפנות למקור המקורי של Financial Phrasebank.