TroveLedger
קוד פתוחTraders-Labcc-by-nc-sa-4.02025-12-17
המאגר מרכז היסטוריית מחירי מניות ברזולוציות של דקות, שעות וימים ממדדים עולמיים מובילים. הוא פותר את בעיית מחיקת הנתונים התוך יומיים שקיימת במקורות חינמיים.
- 10,353הורדות בחודש
- 17לייקים
מה זה
המאגר כולל סדרות עיתיות של נתוני מסחר פיננסיים, הכוללים מחירי פתיחה, שיא, שפל, סגירה ונפח מסחר עבור מניות ממדדים מובילים בעולם. בין המדדים שנאספו נמצאים אס אנד פי 500, פוטסי 100, דאקס הגרמני, ניפטי 50 ההודי, מדדים מבלגיה, שוודיה, קנדה ומדינות נוספות. כל שורת מידע מכילה את סימול המניה, חותמת זמן ביוניקס ומחירים במטבע המקורי של אותו שוק.
רשימות המניות מופקות מוויקיפדיה באמצעות צינור אוטומטי, והנתונים עצמם נמשכים מיהו פייננס דרך ספריית פייתון. המבנה מחולק לפי תיקיות של קטגוריה וסימול מניה, כאשר לכל מניה יש קובצי ימים, שעות ודקות נפרדים, לצד קובצי הגדרות עם מידע על דיבידנדים ופעולות תאגידיות. הקבצים שמועלים עוברים סינון מקדים של שלמות ואיכות, ורק קבצים שעברו תקינה מקבלים את הסיומת המאשרת שימוש.
מתאים ל
- מחקר סדרות עתיות יומיות
אימון ובדיקה של מודלים לחיזוי מחירי מניות יומיים שאינם מושפעים מעיוותי הדיבידנדים.
- בדיקת אסטרטגיות במסחר יומי
ניתוח התנהגות תוך יומית של מדדים זרים על גבי חודשים רצופים של דקות מסחר.
- הנדסת מאפיינים פיננסיים
בניית מאפיינים ואינדיקטורים טכניים מורכבים מנתוני מחיר ונפח ברזולוציות שונות.
איפה זה נופל
נכון לינואר 2026 קיימת בעיה מהותית בנתוני הדקות והשעות, שאינם מותאמים במלואם לפיצולי מניות ולחלוקת דיבידנדים. היוצר מתריע במפורש שלא להשתמש בנתונים התוך יומיים לאימון או לבקטסטינג שדורשים התאמות כאלה עד להשלמת תיקון מלא. בנוסף, הנתונים אינם מגיעים בזמן אמת אלא בדיליי של מספר ימים, והם מבוססים על גרידה של מקור ציבורי ללא התחייבות לזמינות או לדיוק מוחלט.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח אלגוריתם מסחר מסחרי?
לא. הרישיון אוסר במפורש כל שימוש מסחרי ומייעד את המידע לצורכי מחקר וחינוך בלבד. מעבר לזה, המידע מגיע מיהו פייננס ותנאי השימוש שלהם אוסרים שימוש כזה בעצמם.
האם יש במאגר מניות הנסחרות בישראל?
לא, אין שם מניות ישראליות. המאגר מתמקד במדדים מרכזיים בארצות הברית, אירופה, קנדה, הודו, הונג קונג ואוסטרליה. כל הנתונים, המזהים והטקסטים הנלווים מופיעים באנגלית בלבד.
מאיפה נאספו הנתונים ואיך מוודאים שהם שלמים?
הנתונים נמשכים מיהו פייננס באמצעות ספריית פייתון ייעודית, כאשר רשימות המניות מגיעות מוויקיפדיה. היוצר צובר את נתוני הדקות באופן רציף כדי שלא יימחקו, ומפרסם רק קבצים שעברו בדיקות תקינות וסינון פערים.
מה ההבדל בין המאגר הזה לבין משיכה עצמאית ישירה?
יהו פייננס מחזיקה נתוני דקות רק לשבעת הימים האחרונים ומוחקת היסטוריה ישנה. המאגר שומר ומצטבר את הדקות לאורך חודשים רצופים, מה שחוסך את הצורך לבנות צינור אגירה יומי עצמאי.
איך טוענים
הנתונים מפוצלים בין אלפי קבצים שמסודרים לפי ספריות של קטגוריות וסימולים, בפורמט פארקט יעיל לצד קובצי יאמל. אין צורך בבקשת גישה מיוחדת או אישור מראש כדי להתחיל להוריד אותם ישירות מהמאגר. השדות המרכזיים בכל רשומה הם סימול, זמן, פתיחה, שיא, שפל, סגירה ונפח מסחר, כולם במטבע המקומי.
from datasets import load_dataset
ds = load_dataset("Traders-Lab/TroveLedger")הרישיון
הרישיון הוא סי סי בי וואי אן סי אס איי 4.0. המשמעות היא איסור מוחלט על שימוש מסחרי מכל סוג, חובת מתן קרדיט מלא למפרסמים, וחובה לשתף כל יצירה נגזרת תחת אותו הרישיון בדיוק. אי אפשר לאמן על הנתונים האלה מודל שמיועד למסחר חי בחברה או למוצר מסחרי סגור, והשימוש מוגבל למחקר ולהוראה בלבד.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא