OpenForesight
קוד פתוחnikhilchandakmit2025-12-25
שאלות חיזוי מבוססות חדשות שנבנו כדי לאמן ולמדוד יכולת הסקת מסקנות על אירועים עתידיים. הנתונים מתאימים למי שבונה מודלים שמסתמכים על אחזור מידע לצורך תחזיות בזמן אמת.
- 434הורדות בחודש
- 23לייקים
מה זה
המאגר כולל 56,314 שאלות חיזוי לא מספריות שנוצרו באופן סינתטי מכתבות חדשות. כל רשומה כוללת את השאלה, רקע, קריטריונים לפתרון, תשובת אמת מסוג מחרוזת של שם, מיקום או תאריך, קישור למקור, וכן פרומפט עם הקשר מאוחזר ופרומפט מקביל ללא אחזור. שאלות האימון נשענות על כלי תקשורת כמו Hindustan Times, CNN, Irish Times, Forbes ו־DW.
החלוקה כוללת אימון, ולידציה ובדיקה, לצד סטים ייעודיים שנוספו בהמשך. בין היתר תמצאו שם פיצול של Sky Sports לאירועי ספורט, ומספר פיצולים של אל ג'זירה מהשנים 2025 ו־2026. בחלק מהפיצולים המאוחרים הופעל סינון נגדי שנועד לפסול שאלות שמודלים חזקים פותרים בקלות על בסיס ידע עבר בלבד, ותת הסט FutureSim2026Q2 נבנה במיוחד כדי למנוע זליגת מידע בין שאלות שונות.
מתאים ל
- אימון מודל חיזוי RAG
כוונון עדין של מודלי שפה לביצוע תחזיות על בסיס הקשר מאוחזר מכתבות חדשות.
- הערכת הנמקה בזמן
מדידת ביצועי מודל על אירועים עתידיים באמצעות השוואת הפרומפט המאוחזר מול הפרומפט הרגיל.
- בדיקות עמידות נגדיות
שימוש בפיצולים המסוננים כדי לבחון מודלים מול שאלות שלא נפתרות רק מידע עבר.
איפה זה נופל
יוצרי המאגר מודים בקיומם של רעש ואי בהירות בסט האימון ובוולידציה בגלל יצירה סינתטית, בעוד בסט הבדיקה צפוי שיעור שגיאות של עד עשרים אחוזים. כל הטקסטים באנגלית בלבד ואין פה תוכן בעברית. בנוסף, בפיצול aljazeera2026Q2 תאריך ההתחלה אינו אמין ויש סכנה לזליגת מידע בין שאלות, כך שהוא אינו מתאים לבנצ'מרקים מסוימים. הטיות התוכן נגזרות ישירות מעמדות כלי התקשורת שנבחרו, והתשובות מוגבלות לשמות, מקומות ותאריכים ללא שאלות חיזוי מספריות והסתברותיות.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. הרישיון הוא MIT, מה שמאפשר שימוש מסחרי, שינוי והפצה של הנתונים או מודלים שאומנו עליהם. הדרישה היחידה היא לצרף את תנאי הרישיון והודעת זכויות היוצרים של היוצר המקורי.
האם יש בדאטהסט שאלות בעברית או על ישראל?
המאגר כולו באנגלית בלבד. חלק מהשאלות בסט הבדיקה ובפיצולים המאוחרים מבוססים על Al Jazeera, מה שעשוי לכלול אירועים מהמזרח התיכון, אך הניסוח והמקורות נשענים על דיווחים בינלאומיים ולא על עיתונות ישראלית מקומית.
מה ההבדל בין השדות עם אחזור לאלה שבלי?
השדה prompt כולל בתוכו קטעי חדשות רלוונטיים שאוחזרו לצורך מענה על השאלה, ומדמה מערכת RAG פעילה. לעומתו, prompt_without_retrieval מכיל רק את שאלת החיזוי ללא מאמרים, כדי שתוכלו לבדוק את הידע הפנימי של המודל כנקודת ייחוס.
האם התשובות כוללות הסתברויות או מספרים?
לא. השאלות כולן מחזירות מחרוזות טקסט של שמות, מקומות, תאריכים או תשובות מילוליות כלליות. אם אתם מחפשים חיזוי הסתברותי מספרי או הערכות אחוזים, המאגר הזה לא בנוי לזה ישירות.
איך טוענים
טוענים את המאגר ישירות דרך ספריית datasets באמצעות הפקודה load_dataset עם המזהה nikhilchandak/OpenForesight. הנתונים שמורים בקובצי parquet, אין צורך בבקשת גישה מיוחדת והטעינה פתוחה מיד. העבודה מול הנתונים דורשת תשומת לב לשדות prompt ו־prompt_without_retrieval כדי להבדיל בין הערכה עם אחזור לבין בסיס בלעדיו, לצד מעקב אחרי תאריכי האירוע בשדה resolution_date כדי לתחום זמנים נכון.
from datasets import load_dataset
ds = load_dataset("nikhilchandak/OpenForesight")הרישיון
הרישיון הוא MIT. מותר להשתמש בנתונים לצרכים מסחריים ומחקריים, לשנות אותם ולשלב אותם במודלים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. הרישיון אינו כופה שיתוף של מודלים שאומנו עליו באותו נוסח.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש