mkqa
קוד פתוחapplecc-by-3.02022-03-02
המאגר כולל עשרת אלפים שאלות ותשובות שתורגמו בידי אדם לעשרים ושש שפות, כולל עברית. הוא נבנה במקור כדי לבחון מודלים של מענה לשאלות ללא תלות בפסקה מסוימת.
- 1,116הורדות בחודש
- 42לייקים
מה זה
הנתונים מבוססים על דגימה מתוך המאגר Natural Questions של גוגל. עבור כל שאילתה נאספו תשובות חדשות שלא תלויות בטקסט מקור, ואז השאלות והתשובות תורגמו על ידי מתרגמים אנושיים לעשרים וחמש שפות נוספות מלבד אנגלית.
כל רשומה מכילה מזהה ייחודי, את השאילתה המקורית באנגלית, ומילונים של שאילתות ותשובות בכל השפות הנתמכות. התשובות מקוטלגות לפי סוגים, כאשר ישויות מהוות 4221 מקרים, תשובות ארוכות 1815, ושאלות ללא מענה 1427 מקרים. שאר הרשומות מתחלקות לתאריכים, מספרים, יחידות מידה, ביטויים קצרים ותשובות של כן או לא. כל המאגר יושב תחת חלוקה אחת של עשרת אלפים רשומות.
מתאים ל
- הערכת מודלי שפה בעברית
בדיקת יכולת המענה לשאלות ידע כללי בעברית והשוואת הביצועים מול אנגלית ושפות אחרות.
- בחינת עמידות לתרגום שאילתות
מדידת יכולת המודל להחזיר את אותה ישות ותשובה זהה בניסוחים בשפות שונות.
- זיהוי שאלות ללא מענה
אימון ובדיקה של מערכות במניעת הזיות מול 1427 שאלות שמוגדרות במאגר כחסרות תשובה.
איפה זה נופל
השאלות נלקחו במקור ממנוע החיפוש באנגלית, כך שההקשר התרבותי ותחומי העניין מייצגים משתמשים דוברי אנגלית ולא נאספו באופן טבעי בעברית או בשפות האחרות. הכרטיס אינו מפרט מי היו המתרגמים, איך נבדקה איכות התרגום לעברית או מתי בדיוק נאספו התשובות, מה שעלול להוביל למידע עובדתי שהתיישן. בנוסף, כל עשרת אלפים הרשומות מוגדרות כחלוקת אימון אחת ללא חלוקה מובנית למבחן ואימות, ויש 1427 שאלות שאין להן תשובה כלל.
שאלות
נפוצות
האם הדאטהסט כולל עברית?
כן, עברית היא אחת מעשרים ושש השפות במאגר. השאלות והתשובות תורגמו לעברית בידי אדם ולא בתרגום מכונה, כולל שמות ישויות ותשובות טקסטואליות.
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
הרישיון מתיר שימוש מסחרי, אך יש לשים לב לסתירה בין הדיווח על רישיון CC-BY 3.0 לבין אזכור CC BY-SA 3.0 בגוף הכרטיס. אם חל סעיף שיתוף זהה, ייתכן שתידרשו לשחרר נגזרות של הדאטה באותו האופן, ולכן נדרש ייעוץ משפטי לגבי אימון מודלים סגורים.
במה הוא שונה מ־Natural Questions המקורי?
במאגר המקורי של גוגל התשובות חולצו מתוך פסקאות ויקיפדיה באנגלית בלבד. כאן התשובות נאספו מחדש ללא תלות בפסקה מסוימת ותורגמו במלואן לעשרים וחמש שפות נוספות, כך שאפשר לבחון אחזור פתוח ומענה ישיר בכל שפה.
האם יש חלוקה מוכנה לסט מבחן ואימות?
לא, כל עשרת אלפים הדוגמאות מרוכזות בפיצול יחיד שנקרא train. מי שרוצה להשתמש במאגר כבנצ'מרק צריך לחתוך ולשמור בעצמו סטים נפרדים של אימות ומבחן בצורה עקבית.
איך טוענים
טוענים את הדאטהסט ישירות דרך ספריית datasets באמצעות המזהה apple/mkqa, ללא צורך באישור גישה מוקדם. המאגר מכיל סקריפט טעינה בשם mkqa.py וקובץ הסבר. השדות המרכזיים לעבודה הם queries ו־answers, כאשר בכל שפה התשובות עשויות לכלול ישות ויקינתונים, טקסט חלופי ושמות נרדפים. אם אין ישות, השדה entity יחזיר מחרוזת ריקה.
from datasets import load_dataset
ds = load_dataset("apple/mkqa")הרישיון
הרישיון במטא-דאטה מוגדר כ־CC-BY-3.0, אך בטקסט הכרטיס עצמו מצוין קישור לרישיון CC BY-SA 3.0. בשני המקרים מותר להשתמש בנתונים לצרכים מסחריים בכפוף למתן קרדיט מתאים. אם חל תנאי השיתוף הזהה, כל נגזרת ישירה של הדאטהסט חייבת להיות מופצת תחת אותו רישיון, נקודה שמחייבת בדיקה משפטית לפני שילוב ישיר באימון מודלים מסחריים סגורים.