FinCUGE-Instruction
קוד פתוחMacielapache-2.02023-04-29
מאגר הוראות בסינית לאימון מודלים על שמונה משימות שונות בעולם הפיננסי. הוא מתאים למי שבונה מודל ייעודי לדוחות, חדשות ורשתות חברתיות בסין.
- 99הורדות בחודש
- 35לייקים
מה זה
המאגר מבוסס על פרויקט BBT-FinCUGE ומאגד שמונה משימות עיבוד שפה טבעית בתחום הפיננסי. הוא כולל תמצות חדשות, מענה על שאלות מתוך הודעות לבורסה, סיווג חדשות ל־15 קטגוריות, חילוץ יחסים מתוך 44 קטגוריות פיננסיות, ניתוח סנטימנט בפוסטים ברשתות, זיהוי חדשות שליליות והישות שנפגעה מהן, חילוץ יחסי סיבה ותוצאה בסחורות, וחילוץ גופים הקשורים לאירועים ספציפיים. משימת השאלות מבוססת בחלקה על הדאטהסט DuEE-fin.
המבנה של הרשומות אחיד ומותאם לכוונון הוראות, עם השדות instruction, input ו־output. בחלק מהמשימות הטקסט לבדיקה מוזן בשדה input, ובאחרות הוא מופיע כחלק משדה ההוראה עצמו. הנתונים מחולקים למערכי אימון ואימות בכל משימה, כאשר סך הרשומות במאגר נע בין 100,000 למיליון דוגמאות.
מתאים ל
- תמצות דוחות וחדשות
אימון מודל להפקת כותרות קצרות וסיכומים של פסקה אחת מהודעות רשמיות של חברות בסין.
- ניטור סנטימנט וחדשות רעות
זיהוי אוטומטי של תלונות משקיעים ברשתות וייחוס אירועים שליליים לחברות הנסחרות בשוק הסיני.
- חילוץ קשרים ויחסי סיבתיות
מיפוי יחסים עסקיים כמו החזקות ומיזוגים, וזיהוי השפעות של אירועי מאקרו ומזג אוויר על מחירי סחורות.
איפה זה נופל
הנתונים כולם בסינית בלבד, ללא שום ייצוג לעברית או לאנגלית. הטקסטים מתמקדים בכלכלה, בשווקים ובחברות מסין, כולל אירועים כמו דיווחים לבורסת הונג קונג והתייחסויות לקוביד, כך שהתוכן משקף תקופות זמן מסוימות. בנוסף, הדוגמה למשימת הסיווג בכרטיס המקורי משובשת ומציגה נתונים של משימת שאלות ותשובות, מה שמעיד על תיעוד מרושל שדורש בדיקה ידנית של איכות הדגימות בפועל.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון המדווח הוא apache-2.0, שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים והמודלים שמאומנים עליהם, בכפוף למתן קרדיט ושמירת תנאי הרישיון.
האם יש בדאטהסט מידע בעברית או באנגלית?
לא. המאגר מוגדר לשפה הסינית בלבד, והתוכן עוסק בדיווחים, חברות ואירועים מהשוק הסיני. הוא אינו מיועד לפרויקטים בשפות אחרות.
באיזה פורמט שמורים הקבצים וכמה משימות יש בפנים?
המאגר שמור בקובצי Parquet המחולקים לאימון ולהערכה. הוא מכיל שמונה משימות שונות שמיוצגות במבנה אחיד של הוראה, קלט ופלט.
האם המידע עבר בדיקה ידנית?
הכרטיס מציין שהנתונים נגזרו ממקורות קיימים ופרויקטים כמו DuEE-fin, אך אינו מפרט תהליך סינון אנושי. בתיעוד יש שגיאות העתקה ברורות, ולכן חובה לדגום את הנתונים עצמם לפני שמתחילים לאמן.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות המזהה Maciel/FinCUGE-Instruction. המאגר פתוח לציבור ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט Parquet בחלוקה ל־train ו־eval. כל שורה מכילה instruction, input ו־output, אבל בגלל שהפורמט אינו עקבי לחלוטין בין שמונה המשימות, כדאי לכתוב פונקציית עיבוד שמחברת את ההוראה והקלט לפני ההזנה למודל.
from datasets import load_dataset
ds = load_dataset("Maciel/FinCUGE-Instruction")הרישיון
המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי מלא, שינוי של הנתונים והפצה שלהם, כל עוד מצורף עותק של הרישיון ומתועדים השינויים שנעשו. מודל שאומן על הנתונים אינו מחויב להיפתח תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים