RAG-Evaluation-Dataset-JA
קוד פתוחallganizemit2024-09-03
זהו מאגר לבדיקת ביצועי שליפת מידע ביפנית מחמישה מגזרים עסקיים. הוא בוחן שליפה מתוך פסקאות, טבלאות ותרשימים בקבצי מסמכים.
- 244הורדות בחודש
- 34לייקים
מה זה
המאגר כולל 300 שאלות ותשובות נכונות ביפנית, המחולקות שווה בשווה בין חמישה מגזרים: פיננסים, תקשורת ומידע, ייצור, מגזר ציבורי ומסחר. כל מגזר מכיל 60 שאלות שנכתבו על בסיס קובצי מסמכים ייעודיים. סך הכל נאספו 65 קובצי מסמכים, בין 12 ל־14 קבצים לכל מגזר, בהיקף של 200 עד 300 עמודים למגזר.
לכל שאלה הוצמד סיווג של מקור המידע במסמך: פסקת טקסט, טבלה או תמונה. בפיננסים יש 22 שאלות מטקסט, 19 מטבלאות ו־19 מתמונות, בעוד שבשאר התחומים כמחצית מהשאלות מתבססות על פסקאות והשאר מתחלקות בין טבלאות ותרשימים. החלוקה הזו מנסה לשקף את מורכבות המידע המופיע במסמכים אמיתיים.
מתאים ל
- בחינת שליפה מטבלאות ביפנית
מדידת הדיוק של מנגנוני חילוץ וחיפוש בטבלאות וגרפים מתוך מסמכים עסקיים.
- השוואת מנועי חיפוש ארגוניים
הרצת בדיקות השוואתיות בין תצורות שונות של מודלי שפה וספריות פיתוח ביפנית.
- מבחן ביצועים למסמכים פיננסיים
הערכת היכולת של מערכות מידע לענות נכון על שאלות ממסמכי בנקאות וביטוח.
איפה זה נופל
המאגר כתוב כולו ביפנית, כך שהוא חסר תועלת לחלוטין למי שבונה פתרונות בשפות אחרות. 300 שאלות הן מדגם קטן מאוד שלא יספיק לאימון מודלים, אלא רק להרצת מבחן השוואתי מהיר. המסמכים עצמם מייצגים חברות וגופים יפניים, וההערכה האוטומטית שביצעו היוצרים נשענת על מודלים של שפה, מה שמייצר לפי בדיקתם שגיאה של כ־5% לעומת בדיקה אנושית.
שאלות
נפוצות
האם יש במאגר נתונים בעברית?
לא, המאגר כולל אך ורק נתונים ביפנית. כל המסמכים, השאלות ותשובות המקור נאספו ונכתבו עבור שוק המחשוב היפני. למי שמחפש מידע מקומי או טקסטים בעברית הוא אינו רלוונטי.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מפורסם ברישיון MIT המאפשר שימוש מסחרי חופשי. אין מגבלה על שילוב התוצאות במוצרים קנייניים, ואין חובה לפתוח את הקוד שלכם. כל מה שנדרש הוא להשאיר את הצהרת זכויות היוצרים של היוצרים המקוריים.
איך נאספו השאלות והתשובות?
היוצרים אספו 65 קובצי מסמכים מחמישה מגזרים שונים ביפן, בהיקף של כמה מאות עמודים. לאחר מכן הם חילצו ידנית 60 שאלות ותשובות מכל תחום. לכל שאלה הוגדר בדיוק מהו מקור המידע במסמך, בין אם מדובר בטקסט רץ, בטבלה עסקית או בתרשים.
האם המאגר מתאים לאימון מודלים חדשים?
המאגר קטן מדי לאימון ומכיל 300 שאלות בלבד. הוא נבנה במקור כסט מבחן לבדיקת ביצועים והשוואה בין מערכות שונות. הוא מתאים להרצה מהירה של מבחני איכות אך לא ישפר יכולות של מודל בתהליך כוונון.
איך טוענים
אין צורך באישור גישה מיוחד. המאגר מכיל ארבעה קבצים, והמידע המרכזי מרוכז בקובצי CSV פשוטים כמו documents.csv וקובץ תוצאות ההערכה rag_evaluation_result.csv. אפשר להוריד אותם ישירות או לטעון עם ספריית datasets של Hugging Face. העבודה מולו דורשת התייחסות לשדות השאלה, תשובת המקור וסיווג ההקשר.
from datasets import load_dataset
ds = load_dataset("allganize/RAG-Evaluation-Dataset-JA")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים, לשנות אותו, להפיץ אותו ולשלב אותו במוצרים סגורים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים ותנאי הרישיון המקוריים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש