quac
קוד פתוחallenaimit2022-03-02
מאגר שיחות שאלות ותשובות שבוחן הבנת הנקרא בתוך הקשר של דיאלוג מתמשך. אם אתם צריכים לאמן מודל שלא קורס כששאלה תלויה בהיסטוריה של השיחה, זה בדיוק המקום.
- 1,038הורדות בחודש
- 39לייקים
מה זה
הנתונים מבוססים על שיחות חופשיות בין עובדי מיקור חוץ, שחולקו לתפקידי תלמיד ומורה. התלמיד שאל שאלות פתוחות על ערך ויקיפדיה שהוסתר ממנו, והמורה סימן קטעי טקסט רלוונטיים מתוך הפסקה כמענה. המבנה הזה יצר שאלות שאינן עומדות בפני עצמן, כולל שאלות ללא תשובה ישירה בטקסט.
בסך הכל יש כאן 98,407 זוגות של שאלה ותשובה מתוך 13,594 דיאלוגים, שנאספו מתוך 8,854 פסקאות שונות בוויקיפדיה באנגלית. כל דיאלוג מכיל בין ארבע לשתים עשרה שאלות ומציג את ההקשר המלא של חילופי הדברים.
החלוקה כוללת סט אימון עם 83,568 שאלות, וסט ולידציה עם 7,354 שאלות שמכיל חמש תשובות ייחוס שונות לכל שאלה. סט המבחן מכיל 7,353 שאלות והוא נשמר מוסתר להערכה דרך לוח התוצאות הרשמי, ללא חפיפת פסקאות בין החלקים השונים.
מתאים ל
- אימון צ'אטבוטים להקשר שיחה
לימוד מודלים להבין שאלות שתלויות ישירות במה שנאמר בתורות הקודמים.
- חילוץ תשובות מתוך מסמך
זיהוי וסימון קטעי טקסט ספציפיים שמהווים תשובה לפניות משתמש.
- זיהוי שאלות ללא מענה
אימון מערכות לדעת מתי המידע הקיים בפסקה אינו מספיק כדי לענות.
איפה זה נופל
הטקסט כולו באנגלית בלבד ומבוסס על פסקאות מוויקיפדיה, לכן הוא לא מתאים למי שמחפש מידע בעברית או שפה טבעית חופשית מחוץ לעולם האנציקלופדי. בנוסף, הנתונים הועלו בתחילת 2022 והמקורות ישנים יותר, כך שייתכן פער מול עובדות עדכניות. המאגר עצמו אינו כולל את סט המבחן להורדה מקומית, מה שמחייב הסתמכות על סט הוולידציה לצורך מדידה עצמאית. פרטי ההטיות המדויקים ואופן הסינון של כותבי השיחות אינם מפורטים בכרטיס המאגר עצמו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, המאגר מפורסם תחת רישיון MIT שמאפשר שימוש מסחרי ללא מגבלות מיוחדות. הדרישה היחידה היא לכלול את הצהרת הרישיון וזכויות היוצרים המקוריות של היוצרים.
האם המאגר כולל עברית?
לא, כל השיחות והטקסטים מבוססים על ויקיפדיה באנגלית בלבד. אם המטרה היא לאמן כלי בעברית, הנתונים האלה לא יעזרו לכם ללא תרגום.
איך הנתונים נאספו בפועל?
שני עובדי מיקור חוץ ניהלו שיחה חיה סביב פסקה בוויקיפדיה. אחד שאל שאלות בלי לראות את הפסקה, והשני ענה על ידי בחירת קטעים מתוכה.
במה הוא שונה מדאטהסטים רגילים של שאלות ותשובות?
בניגוד למאגרים שבהם כל שאלה עומדת בפני עצמה, כאן השאלות תלויות בהיסטוריה של הדיאלוג. חלק מהשאלות פתוחות יותר, וחלקן כלל אינן ניתנות למענה מתוך הטקסט.
איך טוענים
טוענים את המאגר ישירות מספריית datasets באמצעות המזהה, ללא צורך באישור גישה או מפתח מיוחד. הקבצים כוללים סקריפט טעינה בשם quac.py שפורסם במרץ 2022.
המבנה מאורגן לפי דיאלוג ולא לפי שאלה בודדת. בכל רשומה מקבלים רשימות תואמות של מזהי תורות, שאלות, תשובות מקוריות, וקטעי טקסט מחולצים מתוך הטקסט של הפסקה. יש לשים לב לשדות המטא של followups ושל yesnos, שמספקים אינדיקציות נוספות על מהלך הדיאלוג.
from datasets import load_dataset
ds = load_dataset("allenai/quac")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון הזה מתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקוריים. אין דרישה לשתף תוצרים או מודלים מאומנים תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש