hotpot_qa

מה זה

המאגר כולל כ־113 אלף זוגות של שאלות ותשובות באנגלית, שנבנו על בסיס טקסטים מוויקיפדיה. כל רשומה כוללת מזהה ייחודי, שאלה, תשובה, רמת קושי כמו medium או hard, סוג השאלה, פסקאות מקור מתוך ויקיפדיה ועובדות תומכות שמצביעות בדיוק על המשפטים שמובילים לתשובה.

הנתונים מחולקים לשתי תצורות שונות. תצורת distractor מיועדת למצב שבו מגישים למודל קבוצת פסקאות שחלקן מסיחות, וכוללת 90,447 דוגמאות אימון ו־7,405 דוגמאות אימות. תצורת fullwiki מיועדת לבדיקת שליפה ואחזור מתוך המאגר המלא, ומכילה לצד קבוצות האימון והאימות גם קבוצת מבחן של 7,405 רשומות.

הכרטיס לא מפרט את תהליך הסינון, זהות המתייגים או הדרך המדויקת שבה נוצרו השאלות, ומפנה למאמר המקורי משנת 2018.

מתאים ל

• אימון שאלות מרובות שלבים

  לימוד מודלים לחבר רמזים מכמה פסקאות שונות כדי לייצר תשובה אחת קוהרנטית.

• בדיקת מערכות אחזור

  הערכת ביצועי חיפוש ושליפה בתצורת fullwiki, שדורשת איתור המסמכים הנכונים מתוך מאגר גדול.

• פיתוח מודלים מנמקים

  אימון מערכות להצגת המשפטים המדויקים שהובילו לתשובה, על בסיס שדה ה־supporting facts.

איפה זה נופל

הטקסט כולו באנגלית בלבד ומבוסס על ערכי ויקיפדיה ישנים יחסית שהוצגו במאמר מ־2018, כך שאינו מעודכן באירועים או שינויים מהשנים האחרונות. הכרטיס אינו כולל שום מידע על הטיות, פרטיות או מגבלות אחרות. מי שבונה מוצר בעברית או מחפש שאלות על ידע עדכני לא ימצא כאן מענה ישיר.

איך טוענים

הקבצים זמינים בפורמט Parquet פתוח לחלוטין, ללא צורך בהרשאת גישה או אישור מיוחד. גודל ההורדה הכולל עומד על 1.27 גיגה בייט, ולאחר פריסה המאגר תופס 2.52 גיגה בייט על הדיסק. בעבודה השוטפת חשוב להחליט מראש באיזו תצורה עובדים, fullwiki או distractor, ולהתמקד בשדות של supporting_facts כדי לאמן על הפקת נימוקים או הסברים לצד התשובה.

from datasets import load_dataset

ds = load_dataset("hotpotqa/hotpot_qa")

הרישיון

המאגר מופץ תחת רישיון CC BY-SA 4.0. הרישיון מתיר שימוש מסחרי, אך דורש מתן קרדיט וייחוס הולם ליוצרים. המגבלה הקריטית היא סעיף השיתוף הזהה: אם תשנו, תעבדו או תבנו נתונים חדשים שמבוססים על המאגר, תהיו חייבים להפיץ אותם תחת אותו רישיון בדיוק. לגבי מודלים שאומנו עליו קיימת אי בהירות משפטית, ולכן מומלץ לבדוק את ההשלכות היטב לפני שימוש במוצר מסחרי סגור.

• שימוש מסחרי
• שינוי הקוד
• חובת שיתוף באותו רישיון

הרישיון המלא ב־Hugging Face ↗