researchy_questions
קוד פתוחcorbyrossetcdla-permissive-2.02024-01-24
שאילתות חיפוש אמיתיות ממשתמשי בינג שהצריכו מחקר מעמיק ולא נפתרות בעובדה בודדת. המאגר מתאים למי שבונה מערכות חיפוש ומענה מורכבות ורוצה לבחון פירוק שאלות לתתי-משימות.
- 322הורדות בחודש
- 38לייקים
מה זה
המאגר מכיל כ־100 אלף שאלות שנשלפו מתוך מיליארדי שאילתות במנוע החיפוש בינג, מתוכן כ־90 אלף שורות מיועדות לאימון והשאר לבדיקה. הסינון התמקד בשאלות מורכבות שדרשו מהמשתמשים מאמץ מיוחד, בעלות ריבוי זוויות, כאלה שמצריכות חלוקה לכמה שאלות משנה כדי לענות עליהן ברצינות.
כל שורה בנתונים מייצגת שאילתת משתמש וכוללת ציון מודל לגבי היותה לא-עובדתית וציון ליכולת הפירוק שלה, לצד דירוג איכות שביצע GPT-4 בשמונה ממדים שונים. בנוסף ישנו שדה DocStream עם רשימת מסמכים שנלחצו לפי סדר העדפה מנורמל, וכן פירוק שאלות לתתי-שאילתות חיפוש שנוצר על ידי GPT-4 ללא חשיפה למסמכים שנלחצו.
מתאים ל
- אימון סוכני RAG מורכבים
לימוד מודלים איך לקחת שאלה רחבה, לפרק אותה לשאילתות משנה חכמות ולחפש מקורות בכמה שלבים.
- הערכת מנועי חיפוש ואחזור
בדיקת איכות אלגוריתמי רי-ראנקינג מול התפלגות הקלקות אמיתית של משתמשים בשאילתות קשות.
- בנצ'מרק למודלי שפה
השוואת ביצועי מענה של מודלים שונים על שאלות לא-עובדתיות מול שופט אוטומטי.
איפה זה נופל
המאגר כולל אנגלית בלבד, כך שהוא לא יעזור למי שמחפש לכייל מערכת לשאלות בעברית או להבין ניואנסים מקומיים. מעבר לכך, המסמכים המלאים לא נמצאים בקבצים, אלא רק מזהי קישור שדורשים חיבור למאגר צד שלישי ענק, מה שמסבך את השימוש המיידי.
תתי-השאילתות והערכות האיכות יוצרו בעזרת GPT-4, כך שהטיות המודל מובנות ישירות בתוך המאגר. שאלות מורכבות ממשתמשים נוטות גם להכיל שגיאות כתיב וניסוחים מעורפלים, ויש לקחת את זה בחשבון כשמאמנים מודלים על הנתונים הגולמיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון של המאגר הוא CDLA-Permissive-2.0, והוא מתיר שימוש מסחרי מלא. אתם לא מחויבים לפתוח את הקוד או את המודלים שתאמנו עליו, אלא רק לתת ייחוס מתאים ולשמור על הודעת הרישיון המקורית לצד הנתונים.
האם הדאטהסט כולל שאלות בשפה העברית?
לא. הנתונים נאספו באנגלית בלבד ומבוססים על שאילתות משתמשים בשפה זו. אם היעד שלכם הוא יישום מקומי בעברית, המאגר יכול לשמש לכל היותר כהשראה למבנה השדות אך לא לאימון ישיר.
איך נאספו וסוננו השאלות במאגר?
החוקרים לקחו מיליארדי שאילתות מתוך מנוע החיפוש בינג וסיננו אותן בעזרת מסווגים ייעודיים. הם חיפשו מקרים שבהם משתמשים השקיעו מאמץ רב במיוחד סביב שאלות מורכבות, והשאירו רק שאלות שאינן עובדתיות פשוטות ומצריכות פירוק לתת-נושאים.
האם טקסט המסמכים שנלחצו נמצא בתוך הקבצים?
לא, הקבצים מכילים רק מזהים מוצפנים של הכתובות לצד התפלגות ההקלקות. כדי לקרוא את תוכן המסמכים לצורך אימון RAG מקצה לקצה, עליכם להצליב את המזהים עם קורפוס Clueweb22 שכולל כעשרה מיליארד עמודים.
איך טוענים
הנתונים מגיעים בקובצי JSONL מחולקים לקובץ אימון וקובץ בדיקה, וזמינים להורדה ישירה ללא צורך באישור גישה מקדים. שדות המפתח כוללים את השאילתה, ציוני הסינון, את שדה gpt4_decomposition שמכיל את תתי-השאלות המוצעות, ואת רשימת המסמכים שנלחצו.
אם אתם מתכננים לעבוד עם תוכן המסמכים עצמם תצטרכו גישה חיצונית לקורפוס Clueweb22, מאחר שהרשומות כאן מכילות רק מזהי גיבוב לצורך הצלבה ולא את הטקסט המלא.
from datasets import load_dataset
ds = load_dataset("corbyrosset/researchy_questions")הרישיון
המאגר מופץ תחת רישיון תקף של CDLA-Permissive-2.0. הרישיון הזה מתיר שימוש מסחרי ומחקר ללא תשלום תמלוגים, ואינו כופה עליכם לשתף את השינויים או את המודלים שאימנתם תחת אותו הרישיון. הדרישה העיקרית היא לשמור על הודעות זכויות היוצרים והטקסט של הרישיון המקורי יחד עם הנתונים.