ambig_qa
קוד פתוחsewoncc-by-sa-3.02022-03-02
המאגר מרחיב שאלות פתוחות מוויקיפדיה ומציג תשובות מרובות כשהשאלה מעורפלת. הוא נועד למי שרוצה לבדוק מודלים על שאלות אמיתיות שאי אפשר לענות עליהן במילה אחת בלי הבהרה.
- 2,080הורדות בחודש
- 20לייקים
מה זה
הנתונים מבוססים על NQ-open, שמקורו בשאילתות חיפוש אמיתיות ותוכן מוויקיפדיה. החוקרים לקחו 14,042 שאלות ומצאו שיותר מחצי מהן מעורפלות ברגע שבודקים טקסטים רחבים, ולכן אינן ניתנות למענה יחיד ופשוט.
כל רשומה כוללת שאלה, זיהוי, ותשובות מתאימות. במקרים שבהם השאלה חד משמעית יש תשובה ישירה, ובמקרים של עמימות התווספו צמדי שאלות ותשובות שמפרקים אותה להקשרים מדויקים. המאגר מציע שתי תצורות, גרסת light שמכילה רק קלט ופלט, וגרסת full שכוללת מידע נוסף כמו מסמכים שנצפו, שאילתות חיפוש והתשובות המקוריות מתוך Natural Questions.
החלוקה הפנימית מכילה 10,036 דוגמאות בסט האימון ו־2,002 דוגמאות בסט הוולידציה. הכרטיס אינו מפרט מעבר לכך על תהליך הסינון או זהות המתייגים.
מתאים ל
- הערכת עמימות במנועי תשובות
בדיקה אם מערכת מסוגלת לזהות שאלה בעלת כמה פירושים במקום לפלוט תשובה אקראית.
- אימון מודלים לפירוק שאלות
לימוד מודל שפה לייצר שאלות הבהרה והקשרים שונים לשאילתה קצרה אחת.
- מבחן ביצועים לחיפוש פתוח
מדידת יכולת שליפת המסמכים מתוך ויקיפדיה כאשר הנתונים דורשים כמה מקורות שונים.
איפה זה נופל
הנתונים כולם באנגלית ומבוססים על ויקיפדיה, כך שאין כאן שום ייצוג לעברית או למקורות מידע מקומיים. כרטיס המאגר משאיר סעיפים רבים ריקים, כולל דיון בהטיות, מגבלות ידועות ופרטים על המתייגים עצמם. מי שבונה מוצר צריך לזכור שהמקור מגיע מ־2020 ומטה, ושאלות שתלויות בזמן או באירועים שהשתנו מאז עלולות להכיל תשובות לא מעודכנות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מאפשר שימוש מסחרי, אבל כולל דרישת שיתוף זהה (ShareAlike). המשמעות היא שכל עבודה נגזרת חייבת להשתחרר באותו רישיון חופשי, מה שעלול לחשוף את הפיתוח שלכם.
האם יש במאגר תמיכה בעברית?
לא. המאגר מוגדר וקיים בשפה האנגלית בלבד, ומבוסס על שאלות וערכי ויקיפדיה באנגלית.
מה ההבדל בין גרסת full לגרסת light?
גרסת light מכילה רק את המזהה, השאלה והתשובות המפורקות. גרסת full מוסיפה לזה את השאילתות ששימשו לחיפוש, תוצאות החיפוש, כותרות המסמכים שנקראו והתשובה המקורית מ־Natural Questions.
איך הנתונים נאספו?
הבסיס הוא 14,042 שאלות מתוך NQ-open, שנבדקו ואותרו בהן נקודות עמימות מול מאגר טקסט רחב מוויקיפדיה. הכרטיס לא מספק פרטים נוספים על אופן בחירת המתייגים או תהליך העבודה שלהם.
איך טוענים
המאגר שמור בפורמט Parquet בחלוקה לתיקיות full ו־light, ופתוח להורדה ישירה בלי צורך באישור גישה מוקדם. יש לשים לב למבנה של שדה ה־annotations. כאשר סוג הרשומה הוא singleAnswer שדה ה־qaPairs נשאר כרשימה ריקה, ולהפך, מה שדורש בדיקת תנאי קצרה בזמן עיבוד הדוגמאות.
from datasets import load_dataset
ds = load_dataset("sewon/ambig_qa")הרישיון
הרישיון הוא CC BY-SA 3.0. מותר להשתמש בנתונים באופן מסחרי, אך חובה לתת ייחוס מתאים ליוצרים. המלכוד העיקרי הוא סעיף השיתוף הזהה, שמחייב הפצה תחת אותו רישיון בדיוק אם שיניתם או בניתם על בסיס הנתונים. הדבר עלול להגביל מוצרים קנייניים, בעיקר אם מתייחסים למודל המאומן כיצירה נגזרת.