IndustryCorpus_finance

מה זה

המאגר כולל טקסטים פיננסיים בהיקף של 197.8 ג'יגה בייט, שנשלפו מתוך יותר מ־100 טרה בייט של מקורות פתוחים מוכרים: WuDaoCorpora, BAAI-CCI, redpajama ו־SkyPile-150B. החוקרים השתמשו ב־22 אופרטורים שונים לעיבוד המידע, שכללו ניקוי כתובות מייל, קישורים, כתובות IP, תיקוני יוניקוד והסרת כפילויות ברמת המסמך באמצעות MinHash.

התוכן עבר סיווג לתחום הפיננסי באמצעות מודל שפה ייעודי עם דיוק מדווח של 80%. החלק הסיני במאגר קיבל גם תיוגים מפורטים לפי 12 מדדים, כמו יחס תווים אלפאנומריים, אורך שורה ממוצע ומקסימלי, רמת רעילות ומדד פרפלקסיטי, מה שמאפשר סינון איכותני נוסף לפני האימון.

מתאים ל

• אימון מקדים למודל פיננסי

  הרחבת אוצר המילים והידע הכלכלי של מודל שפה באנגלית או בסינית על גבי טקסט מסונן.

• סינון דאטה לאימון לפי איכות

  שימוש בתיוגי הפרפלקסיטי ואורך השורות בדאטה הסיני כדי לדגום רק טקסטים ברמה גבוהה.

• בניית מאגר ידע למחקר שוק

  שליפת עובדות וניתוחים היסטוריים מתוך מאגר טקסטים כלכליים רחב ממקורות רשת מגוונים.

איפה זה נופל

מודל הסיווג שחילק את הטקסטים לתחום הפיננסי פעל בדיוק של 80% בלבד, כך שחמישית מהתוכן עשויה להיות לא רלוונטית לפיננסים או שגויה בנושא. המאגר מכיל אנגלית וסינית בלבד, ואין בו מילה אחת בעברית או התייחסות לשוק המקומי בישראל. בנוסף, הנתונים נשענים על סריקות רשת היסטוריות ממקורות חיצוניים, לכן תמצאו שם מידע שעשוי להיות ישן ולא מדויק לרגולציה פיננסית עכשווית.

איך טוענים

הנתונים מחולקים לקבצי jsonl.gz דחוסים, ללא צורך בהרשאת גישה מיוחדת או אישור ידני. מורידים ישירות מ־Hugging Face לפי מבנה התיקיות של השפות. קחו בחשבון שמדובר בקבצים כבדים שדורשים שטח אחסון מקומי וזמן פריקה, ושבחלק הסיני מומלץ לקרוא את שדות המטא-דאטה כדי לסנן טקסטים לפי מדדי האיכות המצורפים.

from datasets import load_dataset

ds = load_dataset("BAAI/IndustryCorpus_finance")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה, ומאפשר לאמן מודלים לצרכים פנימיים או מסחריים בלי לחייב פתיחה של קוד המקור. חובה לכלול עותק של הרישיון המקורי ולתת קרדיט ליוצרים בעת הפצת הנתונים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗