wikipedia-human-retrieval-ja
קוד פתוחbaobab-treesapache-2.02024-01-15
מאגר שאלות ותשובות ביפנית שמתעד תהליך שליפה אנושי מלא מוויקיפדיה. הוא מיועד למי שרוצה לבדוק מודלים של חיפוש וביסוס מידע לפי מקורות מוגדרים ולא לפי ידע כללי.
- 63הורדות בחודש
- 34לייקים
מה זה
בניגוד לרוב מאגרי השאלות שבהם מציגים רק שאלה ותשובה סופית, כאן מתועד סשן עבודה שלם של בני אדם שחיפשו ידנית בוויקיפדיה ביפנית בין ה־4 ל־25 בדצמבר 2023. הבודקים קיבלו שאלה, חיפשו ערכים דרך תיבת החיפוש והקישורים הפנימיים, ותיעדו את נתיב השליפה יחד עם פסקאות המקור או תקצירים שלהן.
המאגר מחולק לשני קבצים עיקריים. החלק הראשון כולל 838 דוגמאות שבהן העובד הצליח לבנות תשובה שמבוססת ישירות על המקורות שמצא, כולל ציטוטים מדויקים. החלק השני מכיל 433 מקרים שבהם החיפוש נכשל והעובד לא מצא מקור מספק בוויקיפדיה, כך שנותר רק תיעוד החיפוש בלי תשובה סופית.
מתאים ל
- בדיקת מערכות RAG ביפנית
הערכת היכולת של מנוע שליפה להחזיר בדיוק את הפסקאות שבן אדם בחר כדי לענות על שאלה.
- אימון מודל להימנע מהזיות
לימוד מודלים לסרב לענות כשמקורות המידע לא מספקים הוכחה מפורשת, בעזרת הדוגמאות הלא פתורות.
- ניתוח מסלולי חיפוש
חקר האופן שבו בני אדם מנווטים בין דפי ויקיפדיה כדי להגיע למידע רלוונטי.
איפה זה נופל
זה לא מאגר ידע כללי. המפרסמים הנחו את העובדים במפורש להסתמך אך ורק על מה שכתוב בערכי ויקיפדיה שמצאו, גם אם הידע האישי שלהם אומר אחרת, ולהשאיר את התשובה ריקה אם המידע לא קיים בדף. בנוסף, מדובר ביפנית בלבד, והחיפושים נערכו בחלון זמן קצר מאוד בסוף 2023, כך שהמידע משקף את מצב ויקיפדיה היפנית באותם שבועות. בסך הכל יש פה פחות מאלף ושלוש מאות מקרים, שזה מעט מאוד לאימון רציני ומספיק בעיקר למבחני ביצועים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון apache-2.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים והטמעתם במוצרים סגורים. הדרישה העיקרית היא שמירה על תנאי הרישיון המקורי והצהרת זכויות היוצרים.
האם יש במאגר שאלות או מסמכים בעברית?
לא. המאגר מבוסס כולו על ויקיפדיה ביפנית וכולל שאלות, תשובות ותיעוד שנכתבו ביפנית בלבד.
איך נאספו התשובות והאם המידע בהן תמיד נכון עובדתית?
עובדים אנושיים חיפשו את המידע בוויקיפדיה היפנית בדצמבר 2023 ותיעדו את הפעולות שלהם. המטרה הוגדרה כביסוס מוחלט על הערך שנמצא ולא על נכונות אבסולוטית של המידע בעולם, כך שאם הדף הכיל שגיאה, גם התשובה תכיל אותה.
מה ההבדל בין קובץ נענה ללא נענה במאגר?
בקובץ של המקרים שנענו מופיעים 838 מקרים שבהם נמצא מקור והורכבה תשובה עם מראי מקום. בקובץ הלא נענים יש 433 מקרים שבהם העובד לא מצא מענה מפורש בוויקיפדיה, ונשמר רק תיעוד החיפוש שנכשל.
איך טוענים
הנתונים יושבים בקובצי JSONL פשוטים, בעיקר data/answered.jsonl ו־data/not_answered.jsonl, בלי צורך בטפסי בקשה או אישורי גישה מיוחדים. טוענים אותם ישירות דרך ספריית datasets או בקריאת שורות פשוטה בפייתון. השדות המרכזיים שצריך לשים לב אליהם הם משפט השאלה, פסקת התשובה עם הציטוטים, רשימת המקורות שנשלפו, ותיעוד שלבי החיפוש עצמם.
from datasets import load_dataset
ds = load_dataset("baobab-trees/wikipedia-human-retrieval-ja")הרישיון
המאגר מפורסם תחת רישיון apache-2.0. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בלי חובה לשתף נגזרות תחת אותו רישיון. מותר לאמן עליו מודלים חופשיים או מסחריים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים