investopedia-embedding-dataset
קוד פתוחFinLangcc-by-nc-4.02024-04-22
מאגר מובנה של שאלות ותשובות מאינווסטופדיה לאימון מודלי שיבוץ בפיננסים. הוא מיועד למי שצריך נתוני עוגן ודוגמאות חיוביות באנגלית ומחפש חומר שעבר אימות מול טקסט מקור.
- 528הורדות בחודש
- 21לייקים
מה זה
המאגר מורכב מזוגות של שאלות ותשובות שנוצרו מטקסטים פיננסיים שנאספו מאתר אינווסטופדיה. כל רשומה כוללת ארבעה שדות מרכזיים: נושא כללי שמסווג את התוכן, כותרת שמציינת את הפסקה המקורית, שאלה שמתפקדת כעוגן לשוני, ותשובה שמשמשת כדוגמה חיובית לצורך חישוב דמיון סמנטי.
היוצרים השתמשו במודל שפה כדי להפוך מידע לא מובנה שנסרק מהרשת למבנה תקין של אימון, והפעילו שיטת אימות עצמי כדי לצמצם הזיות של המודל ביחס למקור. החלוקה הפנימית מוגדרת מראש ביחס של תשעים אחוזים לאימון ועשרה אחוזים למבחן, כך שאין צורך לחתוך את הנתונים ידנית לפני תחילת העבודה.
מתאים ל
- אימון מודלי שיבוץ
כיול מודל סמנטי לחישוב דמיון בין שאלות משתמשים לתשובות מקצועיות בפיננסים באנגלית.
- הערכת אחזור מידע
בדיקת ביצועים של מנועי חיפוש פיננסיים על גבי סט המבחן של אינווסטופדיה.
- מחקר על הזיות מודלים
ניתוח איכות הזיהוי בשיטות אימות עצמי של מודלי שפה על תוכן כלכלי מורכב.
איפה זה נופל
הנתונים מבוססים על גרידה של אתר אחד בלבד ובשפה האנגלית בלבד, כך שאין כאן שום כיסוי לעברית או למונחים מקומיים של שוק ההון הישראלי. בנוסף, מדובר בתוכן שנוצר על ידי מודל שפה, ולמרות מנגנון האימות העצמי שהמפתחים מציינים, עדיין תיתכן שגיאה עובדתית או ניסוחים מלאכותיים. המאגר מציג רק עוגן ודוגמה חיובית בלי דוגמאות שליליות קשות, ואין תיעוד לגבי תאריכי הגרידה או גודל הטוקנים המדויק.
שאלות
נפוצות
האם מותר להשתמש במאגר כדי לאמן מודל למוצר מסחרי?
לא. הרישיון הוא לשימוש לא מסחרי בלבד, משום שנתוני המקור נאספו מאינווסטופדיה ללא זכויות מסחריות. שימוש כזה יפר את תנאי הרישיון.
האם המאגר כולל תמיכה בשפה העברית?
לא, המאגר כולו באנגלית. כל השאלות, התשובות והנושאים נלקחו מהאתר הבינלאומי של אינווסטופדיה ואינם כוללים מונחים ישראליים.
האם יש צורך לבנות דוגמאות שליליות לבד לצורך אימון?
כן. הנתונים כוללים רק שאלה כעוגן ותשובה כדוגמה חיובית. כדי לאמן מודל ניגודי תצטרכו להשתמש בדגימות שליליות בתוך הבאץ׳ או לייצר אותן בנפרד.
איך טוענים
המאגר זמין להורדה ישירה דרך האגינג פייס ללא צורך בהרשאת גישה מיוחדת, והוא מחולק לשני קבצי סי אס וי עבור אימון ובדיקה. טוענים אותו ישירות בעזרת ספריית הדאטהסטס הרגילה של פייתון או דרך קריאה ישירה של הקבצים לתוך פנדס. שני השדות המרכזיים שמעניינים את מי שמאמן מודל שיבוץ הם השאלה והתשובה, שמתפקדים כצמד עוגן וחיובי. לפני שמתחילים להריץ אימון, כדאי לשים לב שהכותרות מכילות לעיתים תגיות פנימיות כמו תגיות טייטל בפורמט דמוי קוד שדורשות ניקוי בסיסי, ושדות הנושא עוזרים לבצע חלוקה לפי תחומים ספציפיים בעולם הפיננסי.
from datasets import load_dataset
ds = load_dataset("FinLang/investopedia-embedding-dataset")הרישיון
הרישיון הוא סי סי בי וואי אן סי ארבע נקודה אפס, מה שאוסר שימוש מסחרי מכל סוג שהוא. מותר להשתמש בנתונים למחקר, הערכה או אימון פנימי לצורכי בדיקה, אבל אסור לשלב אותם במוצר שנמכר ללקוחות. אם אתם מאמנים מודל על המאגר הזה, סביר מאוד שהתוצר הסופי יהיה מוגבל באותם תנאים ולא יוכל לשרת פעילות עסקית.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא