FinEval
קוד פתוחSUFE-AIFLM-Labcc-by-nc-sa-4.02023-08-13
מאגר שאלות רב ברירה בסינית שבוחן ידע בפיננסים, כלכלה וחשבונאות. הוא נבנה כבנצ'מרק להערכת מודלי שפה על מבחנים מקצועיים.
- 688הורדות בחודש
- 19לייקים
מה זה
המאגר כולל 4,661 שאלות רב ברירה שמכסות 34 מקצועות אקדמיים שונים, ומחולק לארבעה תחומים מרכזיים: מימון, כלכלה, חשבונאות ותעודות מקצועיות. הנתונים עצמם מבוססים על סימולציות של מבחנים מקצועיים בסינית, במטרה לבחון ידע מעשי ועיוני ברמה אקדמית. הכרטיס אינו מפרט את הליך הסינון המדויק מעבר לכך שמדובר בשאלות מתוך בחינות.
המבנה של כל תחום מחולק לשלושה חלקים ברורים. חלק הפיתוח מכיל חמש דוגמאות לכל נושא הכוללות הסברים מפורטים, ומיועד להערכה בשיטת למידה עם מעט דוגמאות. חלק התיקוף נועד לכיוונון היפרפרמטרים של המודלים. החלק השלישי הוא חלק המבחן, המשמש לבדיקת הביצועים עצמה, והתשובות הנכונות עבורו נשמרות חסויות כדי למנוע דליפת מידע.
מתאים ל
- הערכת מודלי שפה בסינית
בדיקת יכולת המודל לענות על שאלות ידע מקצועיות בכלכלה ומימון בסינית.
- בחינת שרשרת חשיבה
השוואת ביצועים בין מענה ישיר לבין הסקת מסקנות בשלבים בתחום החשבונאי.
- מדידת ביצועי מעט דוגמאות
שימוש בחלק הפיתוח כדי לתת למודל דוגמאות עם הסברים לפני הפקת תשובה.
איפה זה נופל
כל הנתונים כתובים בסינית בלבד ומבוססים על מבחנים ורגולציה מקומית, כך שאין פה שום רלוונטיות לעברית או לחוקי החשבונאות בישראל. בעיה נוספת היא חוסר היכולת לבדוק את חלק המבחן באופן עצמאי באופליין, כי התשובות הנכונות מוסתרות ומחייבות שליחה למחברים. מעבר לכך, הכרטיס מציג רק בנצ'מרק ולא דאטה לאימון מלא.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0 שמונע במפורש כל שימוש מסחרי. המאגר מיועד למחקר, בדיקות פנימיות והערכה אקדמית בלבד.
האם יש במאגר נתונים בעברית או באנגלית?
לא, השאלות וההסברים כתובים כולם בסינית. למרות שמודלים רב לשוניים נבדקו עליו, הטקסט עצמו מקומי לחלוטין ואין בו תוכן בשפות אחרות.
איך אפשר לראות את התוצאות של חלק המבחן?
התשובות הנכונות של חלק המבחן אינן גלויות בקבצים שהורדתם. כדי לחשב דיוק סופי צריך להריץ את המודל ולהגיש את התוצאות למערכת של החוקרים לצורך בדיקה.
איזה סוג של מידע יש בשאלות?
השאלות הן שאלות מבחן אמריקאיות מתחומי המימון, הכלכלה, החשבונאות ובחינות הסמכה מקצועיות. הן כוללות ארבע אפשרויות בחירה ומדמות בחינות תעודה אמיתיות.
איך טוענים
הטעינה מתבצעת ישירות דרך ספריית datasets באמצעות פקודת load_dataset עם ציון שם המאגר והתחום הרצוי, למשל תחום המימון. המאגר פתוח להורדה ישירה ללא צורך באישור גישה מראש. בריפו עצמו תמצאו קובץ ארכיון FinEval.zip לצד התיעוד, כאשר לצורך הערכה של חלק המבחן יש להגיש את הפלטים לבדיקה אוטומטית כי התוויות הנכונות אינן חשופות בקבצים.
from datasets import load_dataset
ds = load_dataset("SUFE-AIFLM-Lab/FinEval")הרישיון
הרישיון הוא cc-by-nc-sa-4.0. המשמעות פשוטה: אין היתר לשימוש מסחרי מכל סוג שהוא, חובה לתת קרדיט למחברים המקוריים, וכל נגזרת של המאגר חייבת להתפרסם תחת אותו רישיון בדיוק. אם תאמנו מודל ישירות על הנתונים הללו, סביר שלא תוכלו למכור אותו או לסגור את הקוד שלו.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא