vibrantlabsai/fiqa
קוד פתוחvibrantlabsaicc-by-sa-4.02023-06-07
שאלות ותשובות ממוקדות בפיננסים שנועדו לבדיקת מערכות שליפה ויצירה. מקבלים כאן קורפוס טקסטים מקצועי יחד עם דוגמאות מוכנות למדידה ישירה של ביצועי אחזור.
- 1,772הורדות בחודש
- 24לייקים
מה זה
המאגר מבוסס על אתגר FiQA מ־2018 ועבר התאמה לבדיקת מערכות אחזור וייצור מידע. החלוקה המרכזית כוללת שלוש תצורות עיקריות. תצורת main מכילה 6,648 זוגות של שאלות ותשובות אמת, שמחולקות לאימון עם 5,500 דוגמאות, אימות עם 500 ומבחן עם 648 רשומות.
לצד השאלות, תצורת corpus מספקת 57,638 מסמכים פיננסיים שמשמשים כמאגר המידע לשליפה. התצורה המומלצת להערכה, ragas_eval_v3, מכילה 30 דוגמאות מוכנות שכוללות את שאלת המשתמש, תשובת המקור, תשובה שיוצרה על ידי מודל וקטעי המקור שנשלפו כדי לייצר אותה. קיימת גם תצורת ragas_eval ישנה עם שמות שדות קודמים, אך היא מוגדרת כמיושנת.
מתאים ל
- הערכת מערכות RAG
בדיקת איכות השליפה והתשובות מול 30 הדוגמאות המוכנות בתצורת ragas_eval_v3.
- אימון שליפת מסמכים
שימוש ב־57,638 המסמכים בקורפוס כדי לבנות ולאמן מנוע אחזור מבוסס תוכן פיננסי.
- אימון מודל שאלות ותשובות
כוונון מודלים על 6,648 השאלות והתשובות שבחלוקת main להבנת שפה כלכלית.
איפה זה נופל
כל הטקסטים באנגלית בלבד ועוסקים בעולם הפיננסי בארצות הברית, כמו צ'קים של בנקים אמריקאיים. אין כאן התאמה לשוק הישראלי, למונחי בנקאות מקומיים או לדיני מס ישראליים. בנוסף, הנתונים מגיעים מאתגר שנערך ב־2018 ולכן עשויים להיות מיושנים. סט ההערכה ragas_eval_v3 מכיל 30 דוגמאות בלבד, כך שלא כדאי להסתמך עליו כמדד יחיד ומקיף לביצועים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון cc-by-sa-4.0 מאפשר שימוש מסחרי. עם זאת, הוא כולל תנאי שיתוף זהה, מה שאומר שאם תפיצו שינוי או עיבוד של המאגר תצטרכו לפתוח אותו תחת אותו רישיון. מומלץ לבדוק היטב את ההשלכות המשפטיות לגבי הפצת מודלים שאומנו עליו.
האם הדאטהסט כולל שאלות או מסמכים בעברית?
לא. המאגר מוגדר לשפה האנגלית בלבד. התוכן עוסק בבנקאות ובפיננסים מנקודת מבט אמריקאית, כך שאינו מתאים ישירות למוצרים בעברית ללא תרגום והתאמה למונחים מקומיים.
מה ההבדל בין תצורת main לבין ragas_eval_v3?
תצורת main כוללת אלפי שאלות ותשובות נכונות שמיועדות לאימון מודלים, ללא טקסטים שנשלפו או תשובות גנרטיביות. לעומת זאת, ragas_eval_v3 מכיל 30 דוגמאות מובנות מראש שכוללות כבר את השאלה, ההקשרים שנשלפו והתשובה שנוצרה, במטרה לבחון כלי הערכה כמו Ragas.
מאיפה הנתונים הללו הגיעו?
הבסיס מגיע מאתגר FiQA של כנס WWW מ־2018 שעסק בניתוח דעות ומענה לשאלות פיננסיות. היוצרים הנוכחיים סידרו את הנתונים מחדש והתאימו את המבנה שלהם ספציפית לצורכי בדיקה והערכה של מערכות RAG.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets בקוד פייתון לפי התצורה הרצויה, למשל ragas_eval_v3 לבדיקות או main לאימון. הקבצים שמורים בפורמט parquet, הגישה חופשית ללא צורך בהרשאה מוקדמת, והגודל הכולל יושב בטווח שבין 10,000 ל־100,000 רשומות בכלל הקבצים. שמות השדות משתנים לפי התצורה: בגרסת ההערכה העדכנית עובדים עם user_input, reference, response ו־retrieved_contexts.
from datasets import load_dataset
ds = load_dataset("vibrantlabsai/fiqa")הרישיון
הרישיון הוא cc-by-sa-4.0. מותר להשתמש בנתונים לצרכים מסחריים ומחקר, אבל חובה לתת ייחוס מתאים ליוצרים המקוריים. סעיף השיתוף הזהה מחייב שכל נגזרת של המאגר שתפיצו תשוחרר תחת אותו הרישיון בדיוק. אם אתם מאמנים מודל ישירות על הנתונים הללו, המשמעות המשפטית עשויה לדרוש מכם לחשוף את המשקלים או את הנתונים המעובדים תחת אותו רישיון חופשי.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון