StrategyQA
קוד פתוחvoidfulרישיון לא דווח2023-05-20
שאלות כן ולא מורכבות שדורשות הסקת מסקנות רב שלבית ולא רק שליפת עובדות יבשות. המאגר כולל פירוק של שלבי החשיבה ופסקאות מוויקיפדיה שתומכות בכל צעד.
- 4,231הורדות בחודש
- 14לייקים
מה זה
המאגר מציע מבחן ביצועים לשאלות שהתשובה עליהן היא כן או לא, אך הדרך לפתרון דורשת אסטרטגיית חשיבה מרומזת. בניגוד למאגרי שאלות רגילים שבהם שלבי הבדיקה מוכתבים ישירות מגוף השאלה, כאן המודל צריך להבין לבד אילו שאלות ביניים יש לשאול. כל דוגמה באימון מכילה את השאלה המקורית, תשובת כן או לא, פירוק מסודר של צעדי ההיקש הנדרשים, ופסקאות מקושרות מתוך ויקיפדיה שמספקות ראיות לכל שלב.
התוכן נאסף באמצעות תהליך מיקור המונים שנועד לייצר שאלות מגוונות ויצירתיות. החלוקה הפנימית בקבצים כוללת קובץ אימון, קובץ מבחן, גרסה מסוננת של קובץ האימון בשם strategyqa_train_filtered, וקובץ ייעודי של פסקאות ויקיפדיה. המבנה הזה מאפשר לבחון גם את היכולת של המודל לענות ישירות וגם את היכולת שלו לאחזר את המידע התומך ולפרק בעיה מורכבת לרכיבים הגיוניים.
מתאים ל
- בדיקת יכולות היסק של מודלים
הערכת ביצועים על שאלות שמחייבות שרשרת חשיבה ולא מסתמכות על שליפת משפט בודד.
- אימון מודלי פירוק שאלות
לימוד מודלים לפרק בעיה סבוכה לסדרת תתי שאלות עצמאיות בעזרת שדה הפירוק.
- פיתוח מנועי אחזור מבוססי ראיות
אימון מערכות לאיתור פסקאות מידע מוויקיפדיה שתומכות בכל שלב בתהליך ההסקה.
איפה זה נופל
השאלות נשענות כולן על השפה האנגלית ועל פסקאות עובדתיות מתוך ויקיפדיה, כך שאין כאן תמיכה בעברית או בהקשר תרבותי מקומי. מכיוון שהנתונים מתבססים על מחקר שפורסם בשנת 2021, חלק מהעובדות עשויות להיות ישנות. מעבר לכך, התשובה הסופית מוגבלת לכן או לא, מה שמשאיר סיכוי של חמישים אחוז לניחוש עיוור אם המודל לא נדרש להציג את נתיב ההיסק המלא.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא מומלץ בכלל. המאגר פורסם ללא הגדרת רישיון בדף שלו. כל עוד אין היתר כתוב וברור לשימוש מסחרי, שימוש כזה חושף אתכם לתביעות זכויות יוצרים.
האם יש במאגר שאלות בעברית?
לא. כל השאלות, התשובות ופסקאות הראיות מוויקיפדיה נאספו באנגלית בלבד.
איך נאספו הנתונים במקור?
המידע הופק בתהליך מיקור המונים כדי לעודד שאלות יצירתיות. המשתתפים כתבו שאלות כן ולא, פירקו את שלבי הפתרון והצמידו פסקאות מתוך ויקיפדיה שמוכיחות כל טענה.
במה הוא שונה ממאגרי שאלות ותשובות רגילים?
ברוב המאגרים השאלה מגלה ישירות מה לחפש. כאן המודל חייב להסיק לבד אסטרטגיה ושלבי ביניים כדי להגיע לתשובה הסופית.
איך טוענים
המאגר יושב כקבצי JSON ישירים להורדה ואינו דורש אישור גישה מיוחד. כדי לעבוד איתו טוענים את strategyqa_train.json וקובצי הבדיקה ישירות לקוד. המבנה כולל שדות מרכזיים עבור השאלה, התשובה הסופית, רשימת שלבי הפירוק והפסקאות הרלוונטיות, כך שצריך לנתח את המבנה הפנימי של הראיות אם רוצים לאמן מודל אחזור לצד מודל המענה.
from datasets import load_dataset
ds = load_dataset("voidful/StrategyQA")הרישיון
הרישיון של המאגר לא דווח בדף המקור. ללא רישיון מוגדר ומפורש, כל שימוש מסחרי או שילוב שלו במודל פרודקשן יוצר סיכון משפטי ברור. כל עוד היוצר לא עדכן תנאי שימוש פתוחים, יש להתייחס אליו כחומר המיועד למחקר ולניסויים פנימיים בלבד.