hotpotqa
קוד פתוחBeIRcc-by-sa-4.02022-06-05
המאגר כולל שאילתות מורכבות שמצריכות מעבר בין כמה ערכי ויקיפדיה כדי למצוא תשובה. הוא משמש לבדיקת מודלי אחזור מידע בתרחיש שדורש שרשור עובדות ולא התאמת מילים פשוטה.
- 1,413הורדות בחודש
- 17לייקים
מה זה
המאגר מציע מבנה נתונים שמותאם לאחזור מידע מתוך אנציקלופדיית ויקיפדיה באנגלית. הוא מחולק לשני חלקים עיקריים. החלק הראשון הוא הקורפוס, שמכיל 5,233,329 מסמכים שונים. החלק השני מורכב מ־97,852 שאילתות שנועדו לבחון חיפוש מרובה שלבים, שבו המענה לשאלה דורש חיבור בין פרטי מידע שונים.
המבנה של כל רשומה פשוט מאוד. בכל שורה בקורפוס ובשאילתות יש שלושה שדות: מזהה ייחודי, כותרת, וגוף הטקסט עצמו. כאשר לכותרת אין ערך, השדה נשאר כמחרוזת ריקה. הנתונים מתבססים על המשימה של פרויקט HotpotQA המקורי, שעובד למבנה המקובל בבנצ'מרק BEIR לצורך הערכת יכולות שליפה.
מתאים ל
- בדיקת מודלי חיפוש
הערכת ביצועי מודלים של שליפת מידע תחת שאילתות מורכבות שמצריכות שילוב מקורות.
- אימון מערכות מענה לשאלות
הזנת דוגמאות לאימון רכיבי שליפה שמתמודדים עם קישורים עובדתיים מרובים.
- השוואת ביצועי בנצ'מרק
בחינת יכולות של מנועי חיפוש וסמנטיקה מול תוצאות BEIR שפורסמו בספרות.
איפה זה נופל
כל הטקסטים כאן הם באנגלית בלבד ומבוססים על ערכי ויקיפדיה. אם המוצר שלכם פונה לקהל ישראלי או עובד בעברית, המאגר הזה לא רלוונטי לבדיקת ביצועים ישירה. בנוסף, מדובר במידע שנאסף ממקורות פתוחים עד סביבות שנת 2021, כך שהוא לא מכיל עדכונים מאוחרים יותר ומוגבל לסגנון הכתיבה האנציקלופדי. הכרטיס לא מפרט תהליכי סינון רעשים ידניים שנעשו על הטקסטים עצמם.
שאלות
נפוצות
האם המאגר כולל עברית?
לא. כל הנתונים, כולל המסמכים והשאילתות, כתובים באנגלית בלבד. לבחינת יכולות בעברית תצטרכו להשתמש במאגרים אחרים או לתרגם את השאילתות והקורפוס באופן עצמאי.
האם מותר להשתמש בזה למטרות מסחריות?
כן, רישיון cc-by-sa-4.0 מאפשר שימוש מסחרי בכפוף למתן ייחוס מתאים. עם זאת, קיים תנאי שיתוף זהה, שמחייב הפצה תחת אותם תנאים אם משנים ומשחררים את הדאטה החוצה.
מה הגודל של המאגר?
הקורפוס מכיל 5,233,329 מסמכים ומערך השאילתות כולל 97,852 פריטים. מדובר בהיקף גדול של מיליוני שורות, ולכן מומלץ לוודא שיש לכם מספיק משאבי זיכרון ואחסון לפני תחילת האינדוקס.
מה מייחד את השאילתות כאן לעומת דאטהסטים רגילים?
השאילתות כאן מבוססות על שאלות שמצריכות חיבור של כמה פיסות מידע מפסוקים שונים, ולא שליפה פשוטה ממסמך יחיד. זה הופך את המבחן למאתגר במיוחד עבור מנועי חיפוש סמנטיים.
איך טוענים
הנתונים מגיעים בקובצי Parquet, חלוקה אחת של קורפוס ואחת של שאילתות, ללא צורך בהרשאה מיוחדת או בבקשת גישה. הטעינה מתבצעת ישירות דרך הספרייה הרגילה של Hugging Face או בהורדת קובץ זיפ עצמאי מהשרת של החוקרים. בגלל שמדובר ביותר מחמישה מיליון מסמכים, אינדוקס הקורפוס דורש זיכרון עבודה ומקום פנוי בדיסק. השדות הקריטיים לעבודה הם המזהה והטקסט.
from datasets import load_dataset
ds = load_dataset("BeIR/hotpotqa")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0 שמקורו בוויקיפדיה. מותר להשתמש בו לצרכים מסחריים ומחקריים, אבל חובה לתת קרדיט הולם ליוצרים המקוריים. התנאי המרכזי שחשוב לשים לב אליו הוא שיתוף זהה. אם אתם משנים את הנתונים ומפיצים אותם, אתם מחויבים לפרסם את היצירה הנגזרת תחת אותו הרישיון. שימוש פנימי לאימון מודל שלא מופץ לציבור לרוב לא כפוף לדרישת השיתוף הזו, אך כדאי לבדוק ייעוץ משפטי בנושא.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון