deepsearchqa

מה זה

המאגר מכיל 900 משימות שנבנו באופן ידני ומכסות 17 תחומים שונים. כל רשומה כוללת את שאלת המחקר, תחום הידע, תשובת ייחוס לאימות, וסיווג סוג התשובה שמגדיר אם מדובר בערך בודד או ברשימה מלאה של פריטים. בערך 65 אחוזים מהשאלות דורשות החזרת קבוצת תשובות שלמה ולא פריט יחיד.

המבנה של כל משימה מבוסס על שרשרת סיבתית, שבה המידע הנדרש לשלב הבא תלוי לחלוטין במציאת המידע מהשלב שקדם לו. השאלות כולן נשענות על הרשת הפתוחה וכוללות תשובות שניתן לאמת באופן אובייקטיבי, כדי לבחון יכולות תכנון ארוכות טווח ושמירה על הקשר בזמן איסוף מידע.

מתאים ל

• הערכת סוכני חיפוש מורכבים

  מדידת יכולת הסוכן לבצע תוכנית מחקר מרובת שלבים ברשת ולהחזיר רשימות נתונים מלאות.

• בדיקת שמירת הקשר ארוך

  בחינה של מעקב הסוכן אחר מידע שתלוי ישירות בממצאים שנאספו בשלבים מוקדמים יותר.

• כיול תהליכי הערכה אוטומטיים

  שימוש בתשובות המאומתות יחד עם מודל שופט כדי לקבל ציון אחיד על איכות תשובות פתוחות.

איפה זה נופל

הבדיקה בוחנת רק את התוצאה הסופית ולא שומרת את מסלול החיפוש, ולכן קשה לדעת אם סוכן פתר בעיה בהיגיון נכון או סתם ניחש במזל. המאגר בנוי על רשת סטטית, כך שאם אתר מקור משתנה או נמחק, תשובת הייחוס עלולה להפוך ללא נכונה עם הזמן. בנוסף, כל 900 הדוגמאות מנוסחות באנגלית בלבד, כך שאי אפשר להעריך כאן ביצועי חיפוש בעברית.

איך טוענים

הקובץ הראשי שמור כקובץ CSV בשם DSQA-full.csv בתוך מאגר של שלושה קבצים, ללא צורך בהרשאות גישה מיוחדות. בעת ההרצה למודל מציגים רק את השאלה עצמה. אסור לחשוף למודל את סוג התשובה בזמן ההסקה, ויש להשתמש בשדות התשובה וסוג התשובה רק בשלב הבדיקה מול מודל השופט שגוגל הגדירו בקוד ההערכה.

from datasets import load_dataset

ds = load_dataset("google/deepsearchqa")

הרישיון

המאגר מופץ תחת רישיון אפאצ'י 2.0. הרישיון מאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של הנתונים, ואינו מחייב שיתוף באותו רישיון. אם משתמשים בו להערכה או פיתוח, יש לשמור על הודעת זכויות היוצרים והייחוס המקורית לגוגל.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗