options-IV-SP500
קוד פתוחgauss314apache-2.02023-07-30
מאגר נתונים טבלאי של שוק האופציות על מדד S&P 500 שמיועד לחיזוי תנודתיות משתמעת. הוא מתאים למי שבונה מודלים פיננסיים ורוצה שילוב מוכן של עסקאות, פוזיציות פתוחות ותנודתיות היסטורית.
- 432הורדות בחודש
- 21לייקים
מה זה
מדובר בקובץ נתונים טבלאי בשם data_IV_USA.csv שמכיל בין מיליון לעשרה מיליון שורות של רשומות מסחר יומיות. הדאטהסט נבנה במקור עבור קורס בינה מלאכותית יישומית באוניברסיטת UCEMA, והוא מארגן נתוני מסחר מורכבים במבנה מוכן ללמידת מכונה.
כל שורה בטבלה מייצגת נייר ערך בתאריך מסוים לפי שדה symbol וכוללת נתוני חוזים של קול ופוט, פוזיציות פתוחות, מרווח מחירי מימוש ומספר תאריכי פקיעה. לצד אלו יש שמונה מדדים של תנודתיות היסטורית בטווחי זמן שונים שנעים בין עשרים למאתיים ימי מסחר, וכן את ערך מדד ה־VIX לאותו יום.
המשתנים שמוגדרים כמטרות חיזוי הם ערכי התנודתיות המשתמעת בחלוקה לרמות מרחק שונות ממחיר השוק, החל מעמוק בתוך הכסף ועד עמוק מחוץ לכסף. הכרטיס לא מפרט מאיזה מקור נמשכו הנתונים בפועל או אם בוצע סינון של ימי מסחר חריגים, אלא רק מציג את השדות שנשמרו.
מתאים ל
- חיזוי תנודתיות משתמעת
אימון מודלי רגרסיה לחיזוי ערכי תנודתיות לפי מחירי מימוש שונים על בסיס נתוני עסקאות והיסטוריה.
- הורדת ממדי נתונים פיננסיים
בדיקת שיטות דחיסה על שדות תנודתיות היסטורית ומדדי מסחר מרובים כדי לצמצם תכונות למודלים.
- סיווג מצבי שוק
בניית מודלי סיווג טבלאיים שמזהים רמות סיכון או תנודות חריגות על סמך נתוני פוזיציות ומדד VIX.
איפה זה נופל
הבעיה המרכזית כאן היא חוסר תיעוד. הכרטיס לא מציין מאיזה תאריך עד איזה תאריך הנתונים נאספו, מאיזה ספק מידע פיננסי הם הגיעו, או איך טופלו ערכים חסרים. בנוסף, מדובר בנתונים שפורסמו ביולי 2023 ומיועדים למטרות לימודיות בקורס אקדמי. מודל פיננסי אמיתי דורש לדעת בדיוק מתי נרשמו המחירים, האם יש הטיית שרידות במניות שנכללות, ואיך חושבה התנודתיות המשתמעת, פרטים שלא קיימים בתיעוד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון שדווח הוא apache-2.0 והוא מתיר שימוש מסחרי חופשי. עם זאת, מכיוון שמקור הנתונים הראשוני של האופציות לא מפורט, כדאי לוודא שאין מגבלות צד שלישי על המידע הפיננסי עצמו לפני שמכניסים אותו למערכת מסחר פעילה.
כמה רשומות יש בדאטהסט?
המאגר כולל בין מיליון לעשרה מיליון שורות של נתוני מסחר יומיים. הנתונים מאוחסנים כולם בקובץ CSV יחיד בשם data_IV_USA.csv שמחולק למאפייני מסחר ולמדדי תנודתיות משתמעת.
האם יש במאגר נתונים בעברית או על השוק הישראלי?
לא. מדובר בנתונים של שוק המניות האמריקאי, ספציפית ניירות ערך שקשורים למדד S&P 500. כל השדות והסימולים הם באנגלית בלבד.
מה טווח התאריכים שמכוסה בנתונים?
כרטיס המאגר לא מציין מהם תאריכי ההתחלה והסיום של הרשומות. המידע פורסם ביולי 2023 כחלק מקורס באוניברסיטת UCEMA, וכדי לדעת אילו שנים נכללות יש צורך לטעון את שדה התאריך date ולבדוק ישירות בקובץ.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets של פייתון עם המזהה gauss314/options-IV-SP500 וממירים לפנדס. המאגר פתוח לחלוטין ולא דורש אישור גישה מראש. הקובץ המרכזי שממנו נמשך המידע הוא data_IV_USA.csv, והוא נטען תחת חלוקת train. לפני ההרצה כדאי לקחת בחשבון שמדובר במיליוני שורות, לכן טעינה מלאה לזיכרון תדרוש משאבי RAM מתאימים.
from datasets import load_dataset
ds = load_dataset("gauss314/options-IV-SP500")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מאפשר שימוש מסחרי, שינוי של הנתונים והפצה חופשית, כולל אימון מודלים ללא דרישה לשתף את הקוד תחת אותו רישיון. החובה העיקרית היא מתן קרדיט ושמירה על הודעות הרישיון המקוריות.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים