financial-tweets-sentiment

מה זה

המאגר מכיל ציוצים סביב שוקי מניות, קריפטו ודיונים כלכליים, שחוברו יחד מתשעה מקורות שונים, ביניהם נתוני FIQA, פרויקטים מגיטהאב ומאגרים מקגל. היוצר ביצע עיבוד מקדים שכלל איחוד מיפוי התוויות ומחיקת כפילויות.

המבנה פשוט מאוד וכולל שני שדות בלבד: טקסט הציוץ והתווית המספרית שלו. התיוג מחולק לשלוש רמות, כאשר אפס מסמן ניטרלי, אחת מסמן סנטימנט חיובי או שורי, ושתיים מסמן סנטימנט שלילי או דובי. מתוך כלל הרשומות, יש רוב ברור לציוצים שוריים, מעל 17 אלף, לעומת כ־12 אלף ניטרליים ורק כ־8,500 ציוצים בעלי סנטימנט דובי.

מתאים ל

• אימון מסווג סנטימנט פיננסי

  התאמת מודלי שפה לזיהוי עמדות שוריות או דוביות בטקסטים קצרים מרשתות חברתיות באנגלית.

• בנצ'מרק להערכת מודלים

  בדיקת ביצועים של מודלי סיווג כלליים מול שפה ייעודית של סוחרי מניות וקריפטו.

• סינון רעשים בפיד מסחר

  זיהוי ציוצים ניטרליים וסינונם כדי להתמקד בפוסטים שמביעים עמדה מובהקת על השוק.

איפה זה נופל

ההטיה הבולטת ביותר היא חוסר איזון מובהק בין המחלקות, כמות הציוצים החיוביים כפולה מהשליליים, מה שעלול להטות מודל לאופטימיות יתר. מעבר לזה, המאגר מוגבל לאנגלית בלבד, ואין בו נתוני זמן, תאריכי פרסום, מזהי משתמשים או חלוקה רשמית מראש לסט אימון, בדיקה ואימות. אם אתם בונים מערכת למסחר אמיתי, קחו בחשבון שמדובר באוסף מקורות הטרוגני עם איכויות תיוג שונות שלא נבדקו מחדש.

איך טוענים

טוענים את המידע ישירות באמצעות ספריית datasets של Hugging Face ללא צורך באישור גישה מוקדם. הקובץ המרכזי שמור בפורמט parquet יחיד תחת תיקיית data, כך שזמן ההורדה והטעינה לזיכרון אפסי. בזמן העבודה תצטרכו לגשת בעיקר לשדות Tweet עבור הטקסט הגולמי ו־Sentiment עבור ערך המטרה המספרי.

from datasets import load_dataset

ds = load_dataset("TimKoornstra/financial-tweets-sentiment")

הרישיון

המאגר מופץ תחת רישיון MIT. המשמעות פשוטה: מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולאמן עליו מודלים חופשיים או קנייניים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף מודלים שתאמנו באותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗