DeepDive

מה זה

המאגר כולל 3,250 שאלות ותשובות שנבנו בצורה סינתטית סביב גרפי ידע. הבנייה נעשתה באמצעות הליכה אקראית על הגרף, ערפול ישויות וסינון שאלות קלות מדי, כדי לייצר מקרים שמחייבים חיפוש מעמיק ולא תשובה ישירה.

הנתונים מחולקים לשלושה חלקים עיקריים. ישנו חלק המיועד לכוונון עדין מונחה עם 1,016 זוגות של שאלה ותשובה, ומתוכו נגזרו 858 מסלולי חיפוש מלאים שנוצרו בשיטת דגימת דחייה ומציגים את מהלכי החיפוש של הסוכן. החלק הנוסף כולל 2,234 שאלות ותשובות ייעודיות ללמידת חיזוק, שבהן שדה השיחה נשאר ריק כדי שהמודל יבצע את הצעדים בעצמו.

מתאים ל

• אימון סוכני חיפוש

  כוונון מודלים על מסלולי חקירה שמלמדים איך לבצע שאילתות חיפוש מדויקות שלב אחר שלב.

• למידת חיזוק לחיפוש

  שימוש בחלק ה־RL כדי לתרגל מודלים בפתרון שאלות מורכבות בסביבת חיפוש פעילה.

• הערכת יכולות הסקה

  בדיקת יכולת המודל לאתר ישויות מעורפלות ולחבר מידע מכמה מקורות שונים.

איפה זה נופל

מדובר במאגר קטן יחסית שכולל כמה אלפי דוגמאות בלבד, כך שהוא לא מתאים לאימון מאפס אלא רק לכוונון ספציפי. המידע נבנה באופן מלאכותי מגרפי ידע, מה שעלול לייצר שאלות עם ניסוחים סינתטיים שלא משקפים שאילתות אמיתיות של משתמשים. הכרטיס לא מציין תמיכה בעברית או בשפות אחרות, וההנחה היא שהטקסט באנגלית בלבד. כדאי לבדוק היטב את תקינות מסלולי החיפוש לפני שמבססים עליהם התנהגות של סוכן בסביבת ייצור.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית datasets באמצעות הנתיב zai-org/DeepDive, ללא צורך באישור גישה. הקבצים שמורים בפורמט parquet ומשקלם קטן מאוד, כך שההורדה מיידית. שדות המפתח כוללים מזהה ייחודי, שאלה, תשובה נכונה, ובחלק של המסלולים מופיע שדה השיחה שמכיל את רצף הצעדים והתפקידים של תהליך החיפוש.

from datasets import load_dataset

ds = load_dataset("zai-org/DeepDive")

הרישיון

המאגר מופץ תחת רישיון apache-2.0. הרישיון מתיר שימוש מסחרי, שינוי והפצה של הנתונים ושל מודלים שאומנו עליהם, בתנאי ששומרים על הודעת זכויות היוצרים והרישיון המקורי. אין חובה לשתף את השינויים או את המודלים תחת אותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗