fiqa

מה זה

המאגר מבוסס על FiQA 2018 ונועד למדוד שליפת מאמרים פיננסיים לפי שאילתה. הוא מחולק לשני חלקים ברורים שנשמרים כטבלאות נפרדות, מסמכי המקור מול השאלות עצמן. בכל חלק הרשומות מורכבות משלושה שדות בלבד: מזהה ייחודי, כותרת וגוף הטקסט.

בחלוקת המאגר יש 57,638 מסמכים במאגר הטקסטים הכללי, ומולם 6,648 שאילתות. כאשר הכותרת חסרה ברשומה, היא מופיעה פשוט כמחרוזת ריקה. המאגר מיועד במקור לבחינת zero shot בסביבה פיננסית, כחלק מבנצ'מרק של 18 מאגרי אחזור שונים, אך הכרטיס אינו מפרט תהליכי סינון או ניקוי שבוצעו על הטקסטים הללו.

מתאים ל

• הערכת אחזור פיננסי

  בדיקת יכולת המודל לשלוף מסמכים רלוונטיים לשאלות בנושאי כספים וכלכלה באנגלית.

• בנצ'מרק למנועי חיפוש

  מדידת ביצועים של מנועי חיפוש פנימיים בתרחיש zero shot מול דאטהסט ייעודי.

• אימון מקודדי טקסט

  שיפור מודלי הטמעה עבור מונחים מקצועיים מעולם הפיננסים באמצעות התאמת שאלות לתשובות.

איפה זה נופל

כל הטקסטים הם באנגלית בלבד, כך שלבדיקת ביצועים בעברית הוא אינו שימושי. מקור הנתונים הוא משנת 2018, תקופה שקדמה לתנודות כלכליות ואירועים גלובליים משמעותיים, מה שעלול לייצר פערים בידע עדכני. הכרטיס לא מפרט על הטיות פנימיות, ומספר השאילתות קטן יחסית. מומלץ לבדוק את איכות ההתאמות ידנית לפני הסתמכות עליו במוצר חי.

איך טוענים

טוענים את הקבצים ישירות דרך ספריית הדאטהסטס או מורידים קובצי parquet מתוך המאגר. ישנם שני קבצים מרכזיים, אחד לשאילתות ואחד למסמכים. הגישה פתוחה לחלוטין ללא צורך בהרשמה מוקדמת או אישור מיוחד. בעבודה עם הנתונים תצטרכו לחבר בין המזהים של השאילתות לבין המזהים של המסמכים, ולהתמודד עם מקרים שבהם שדה הכותרת ריק.

from datasets import load_dataset

ds = load_dataset("BeIR/fiqa")

הרישיון

הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים כאחד, אך חובה לתת ייחוס מתאים ליוצרים. בנוסף, חל תנאי שיתוף זהה, מה שאומר שאם שיניתם, עיבדתם או בניתם על בסיס הנתונים משהו שמוגדר כנגזרת, עליכם להפיץ אותו תחת אותו הרישיון בדיוק. כדאי להתייעץ משפטית לגבי השלכות הרישיון על משקלי מודל שאומן עליו.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗