finance-tasks
קוד פתוחAdaptLLMרישיון לא דווח2023-09-19
המאגר מרכז מבחני ביצוע פיננסיים מוכנים עם הנחיות מובנות לבדיקת מודלי שפה. הוא חוסך את בניית התבניות אם אתם בודקים מודלי בסיס על משימות כמו ניתוח סנטימנט, מענה לשאלות וזיהוי ישויות.
- 4,976הורדות בחודש
- 83לייקים
מה זה
המאגר כולל קובצי בדיקה מעובדים למשימות הערכה פיננסיות. הרשומות מגיעות מחלוקות הבדיקה של מערכי נתונים מוכרים בתחום הפיננסי: ConvFinQA לשאלות ותשובות, FPB ו־FiQA_SA לניתוח סנטימנט, Headline למיון כותרות, ו־NER לזיהוי ישויות. כל קובץ בנוי כהוראות קלט מוכנות יחד עם פלטים צפויים, עבור בדיקות בגישת אפס דוגמאות או דוגמאות בודדות.
הנתונים נאספו ועובדו במסגרת מאמר מחקרי של ICLR 2024 שעסק בהתאמת מודלים באמצעות משימות הבנת הנקרא. במקום טקסט גולמי בלבד, החוקרים הכניסו את הדוגמאות לתוך תבניות הנחיה ספציפיות שנועדו למדידת ביצועי prompting. המאגר עצמו מכיל רק את נתוני המבחן המעובדים, בעוד שחלוקות האימון והמבחן הגולמיות פורסמו במאגרים נפרדים.
מתאים ל
- הערכת מודלי בסיס
בדיקת יכולות prompting של מודלי שפה גולמיים במשימות פיננסיות ללא צורך בהגדרת תבניות.
- השוואת ביצועי סנטימנט
מדידת דיוק המודל בסיווג סנטימנט של חדשות ודוחות פיננסיים על גבי FPB ו־FiQA_SA.
- בדיקת חילוץ ישויות
בחינת יכולת המודל לזהות ישויות פיננסיות מתוך טקסטים באמצעות קובץ ה־NER הייעודי.
איפה זה נופל
ההנחיות נבנו במיוחד עבור מודלי בסיס לפני שלב ה־alignment. הן לא מתאימות למודלי צ'אט כמו Llama-2-Chat או Llama-3-Instruct שדורשים פורמט שיחה מובנה, ועבורם תצטרכו לעבד את הנתונים מחדש. בנוסף, כל הנתונים הם באנגלית בלבד. אם המוצר שלכם מיועד לשוק המקומי בישראל או לעיבוד דיווחים בעברית, המאגר הזה לא ייתן לכם אינדיקציה רלוונטית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ להסתמך עליו מסחרית כרגע כי לא דווח רישיון רשמי בעמוד הדאטהסט. בהיעדר רישיון פתוח מוגדר, אין לכם היתר חוקי ברור להשתמש בנתונים למוצרים מסחריים, ויש לברר את תנאי המקור של כל משימה בנפרד.
האם יש במאגר טקסטים פיננסיים בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד, וכל המשימות מבוססות על נתונים באנגלית. כדי לבחון מודלים על דיווחים מהבורסה בתל אביב או עיתונות כלכלית מקומית, תצטרכו לבנות מערך נתונים נפרד.
האם הדאטהסט מתאים לאימון מודל?
המאגר הזה מכיל בעיקר קובצי test לצורך הערכה ובדיקה, ולא נועד לאימון. אם אתם מחפשים לאמן או לעשות fine-tuning, היוצרים פרסמו בנפרד מאגרים שמכילים את חלוקות האימון הגולמיות של המשימות הללו.
למה התבניות המוכנות לא עובדות טוב על מודלי צ'אט?
היוצרים בנו את הטקסטים עם הנחיות ישירות שמיועדות למודלי בסיס לפני התאמת שיחה. מודלים מסוג Instruct או Chat דורשים פורמט שיחה מיוחד כדי לענות נכון, ולכן הרצת הסקריפט עליהם ללא שינוי תפגע בתוצאות.
איך טוענים
טוענים את הנתונים דרך ספריית datasets או מורידים ישירות את שמונת הקבצים מהמאגר, שכוללים קובצי test.json עבור כל משימה. המאגר פתוח לחלוטין לגישה מיידית ולא דורש הרשאות מיוחדות. הקבצים מכילים שדות של הוראות קלט מוכנות ותשובות יעד, כך שצריך רק להזין את הטקסט למודל ולהשוות לפלט.
from datasets import load_dataset
ds = load_dataset("AdaptLLM/finance-tasks")הרישיון
היוצרים לא הגדירו רישיון בכרטיס המאגר. המשמעות המשפטית היא שזכויות היוצרים שמורות ולא ניתנה הרשאה מפורשת לשימוש מסחרי, להפצה או לאימון מודלים מסחריים. שימוש במאגר מתאים בשלב זה למחקר והשוואת ביצועים בלבד, וכל הטמעה במוצר מסחרי דורשת בדיקה מול היוצרים ובדיקת הרישיונות של מערכי המקור כמו FPB ו־ConvFinQA.