search_qa
קוד פתוחkyunghyunchounknown2022-03-02
המאגר מחבר בין שאלות טריוויה מתוכנית הטלוויזיה ג'פרדי לבין קטעי טקסט אמיתיים מגוגל. הוא נועד לבחון מודלים שמחלצים תשובה מתוך עשרות תוצאות חיפוש רועשות.
- 1,005הורדות בחודש
- 23לייקים
מה זה
הרשומות בנויות סביב שאלות ותשובות שנאספו מארכיון המעריצים J! Archive של תוכנית הטלוויזיה ג'פרדי. עבור כל שאלה, החוקרים הריצו שאילתה במנוע החיפוש של גוגל והצמידו אליה ממוצע של 49.6 קטעי טקסט (snippets) מתוצאות החיפוש, לצד כותרות העמודים וכתובות האתרים. הרעיון היה לשקף תהליך מענה אמיתי שבו המודל צריך למצוא את המידע בתוך תוכן רשת פתוח ולא מתוך פסקה בודדת שנתפרה מראש עבורו.
המבנה מחולק לשתי תצורות עיקריות. הראשונה היא raw_jeopardy שכוללת 216,757 רשומות בחלוקת train בלבד. השנייה היא train_test_val שמסודרת לעבודה סטנדרטית עם 151,295 דוגמאות לאימון, 21,613 לוולידציה ו־43,228 לבדיקה. בכל רשומה מקבלים גם מטא דאטה מהתוכנית עצמה: קטגוריה, תאריך שידור, שווי השאלה בנקודות, הסיבוב ומספר הפרק.
מתאים ל
- בנצ'מרק לחילוץ תשובות
בדיקת יכולת המודל לאתר תשובה נכונה מתוך עשרות קטעי חיפוש רועשים ולא מסוננים.
- אימון מערכות מבוססות חיפוש
פיתוח שלבי דירוג או שליפת מידע במערכות שמשלבות מנוע חיפוש עם מודל שפה.
- מחקר על עמידות מודלים לרעש
בחינה של האופן שבו תוצאות חיפוש לא רלוונטיות מטעות מודלים של שאלות ותשובות.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על פורמט ייחודי מאוד של שאלות טריוויה אמריקאיות, כך שזה לא יעזור בכלל למי שמפתח מערכת בעברית. בנוסף, המאמר פורסם במקור ב־2017 והמאגר עלה ב־2022, מה שאומר שתוצאות החיפוש מגוגל משקפות את הרשת כפי שהייתה לפני שנים רבות, כולל קישורים שבורים וטקסטים מיושנים. כרטיס הדאטהסט משאיר את רוב השדות לגבי הטיות וסינון מידע אישי פשוט ריקים, כך שאין שום תיעוד על תוכן פוגעני או שמות פרטיים שעלולים להסתתר בתוך קטעי החיפוש שנאספו אוטומטית.
שאלות
נפוצות
האם מותר להשתמש במאגר למטרות מסחריות?
הרישיון מוגדר כלא ידוע ואין שום מידע על היתר שימוש בכרטיס. החומר מבוסס על תוכנית הטלוויזיה ג'פרדי ותוצאות מגוגל, כך שמסוכן מאוד להכניס אותו לקוד מסחרי.
כמה מקום בדיסק צריך בשביל להוריד אותו?
ההורדה עצמה דורשת 6.46 גיגה בייט של קבצים מכווצים. לאחר פריסה ויצירת הנתונים המלאה, הדאטהסט תופס 21.74 גיגה בייט בסך הכל.
האם יש במאגר תמיכה בעברית?
לא. כל השאלות והתשובות לקוחות מתוכנית טלוויזיה אמריקאית, ותוצאות החיפוש נאספו כולן באנגלית בלבד.
מה ההבדל בין המאגר הזה למאגרים כמו SQuAD?
ב־SQuAD כותבים שאלה על בסיס פסקה נתונה מתוך ויקיפדיה. כאן לקחו שאלה קיימת וחיפשו עבורה עשרות קטעים ברשת, מה שמייצר הרבה יותר רעש שמדמה חיפוש אמיתי.
איך טוענים
טוענים את הנתונים דרך ספריית datasets הרגילה של Hugging Face, ואין צורך לבקש אישור גישה מיוחד כי המאגר פתוח להורדה. עם זאת, תצטרכו לפנות מקום משמעותי בדיסק. הקבצים המכווצים תופסים 6.46 גיגה בייט, והדאטהסט המעובד מגיע לנפח של 15.28 גיגה בייט, כך שסך המקום הנדרש מגיע ל־21.74 גיגה בייט. רוב המשקל יושב בתוך המבנה של search_results שמחזיק את הטקסטים של קטעי החיפוש, הקישורים והכותרות לכל שאלה בנפרד.
from datasets import load_dataset
ds = load_dataset("kyunghyuncho/search_qa")הרישיון
הרישיון מוגדר כ־unknown, והכרטיס הרשמי פשוט מדלג על סעיף הרישוי. מעבר לכך, השאלות מגיעות מארכיון תוכנית טלוויזיה מסחרית וההקשרים נאספו ישירות מתוצאות חיפוש של גוגל, מה שיוצר סיכון משפטי ברור. כל עוד אין הצהרת זכויות ברורה, אי אפשר להשתמש בזה למוצרים מסחריים או להסתמך עליו בבניית מוצר בלי בדיקה משפטית.