prescience
קוד פתוחallenaiodc-by2026-02-09
המאגר מרכז כותרות, תקצירים ורשתות ציטוט של כחצי מיליון מאמרי בינה מלאכותית מארכייב. המטרה היא לאמן ולהעריך מודלים על חיזוי התפתחויות מדעיות, שיתופי פעולה ומחקרי המשך.
- 460הורדות בחודש
- 22לייקים
מה זה
הנתונים נשענים על 97,826 מאמרי יעד שפורסמו בארכייב בין אוקטובר 2023 לאוקטובר 2025 בשבע קטגוריות מרכזיות, בהן עיבוד שפה טבעית, למידת מכונה וראייה ממוחשבת. לצד מאמרי היעד, המאגר כולל מעטפת רחבה של מאמרי רקע שמביאה את סך הרשומות ל־501,866. המעטפת מורכבת מציטוטי מפתח של מאמרי היעד, עבודות קודמות של אותם חוקרים והציטוטים של אותן עבודות קודמות.
המבנה מחולק לשניים על ציר הזמן כדי למנוע זליגת מידע מהעתיד. חלק האימון כולל 373,716 מאמרים מאוקטובר 2023 עד אוקטובר 2024, וחלק המבחן מכיל 464,942 מאמרים מאוקטובר 2024 עד אוקטובר 2025. כל הנתונים המטא-מדעיים, כמו ספירת ציטוטים ומדדי חוקרים, חושבו בדיוק לפי נקודת הזמן של פרסום המאמר. בנוסף, בוצע תהליך זיהוי מחברים ייעודי לפתרון שמות זהים וסינון של מאמרים שאינם כוללים בין 1 ל־10 ציטוטי מפתח.
מתאים ל
- חיזוי ציטוטים והשפעה
אימון מודלים שמעריכים כמה ציטוטים יקבל מחקר חדש לפי התקציר וההיסטוריה של המחברים.
- המלצה על שותפי מחקר
בניית מערכות שמזהות חיבורים פוטנציאליים בין חוקרים על בסיס תחומי עניין ופרסומי עבר.
- בחירת עבודות קודמות
מודלים שמציעים אילו מאמרי מפתח ראוי לצטט בהתבסס על נושא המחקר והתקציר המוצע.
- יצירת תקצירים עתידיים
הערכת היכולת של מודלי שפה לחזות כיווני תרומה מדעית חדשים מתוך ידע שנצבר בעבר.
איפה זה נופל
הטקסט מוגבל לכותרות ותקצירים בלבד ואינו כולל את גוף המאמרים המלא. הנתונים מתמקדים אך ורק בשפה האנגלית וסביב שבע קטגוריות של מדעי המחשב בארכייב, כך שאין כאן כיסוי לתחומים מדעיים אחרים או לפרסומים בעברית. מאמרי יעד עם פחות מציטוט מפתח אחד או יותר מעשרה סוננו החוצה, מה שיוצר הטיה מכוונת במבנה רשת הציטוטים. חלון הזמנים מסתיים באוקטובר 2025, ולכן המאגר אינו מייצג עבודות טריות יותר או שינויים שחלו במגמות המחקר מאז.
שאלות
נפוצות
האם המאגר כולל טקסט מלא של המאמרים?
לא. הרשומות כוללות אך ורק כותרות, תקצירים ומטא-דאטה של מחברים וציטוטים. מי שזקוק לתוכן הפסקאות, לניסוח המלא או לקוד המצורף לא ימצא אותם כאן.
האם אפשר להשתמש בנתונים לפיתוח מוצר מסחרי?
כן, רישיון ODC-BY מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או מוצרים חיצוניים. הדרישה היחידה היא שמירה על ייחוס מתאים למקורות הנתונים.
האם יש במאגר ייצוג למחקרים בעברית?
לא. כל המאמרים נאספו מקטגוריות הבינה המלאכותית בארכייב והם כתובים באנגלית בלבד. אין במאגר טקסטים או מטא-דאטה בעברית.
מה ההבדל בין חלקי האימון והמבחן?
החלוקה היא כרונולוגית כדי למנוע דליפת מידע היסטורי. חלק האימון מכסה עבודות מאוקטובר 2023 עד אוקטובר 2024, וחלק המבחן מכסה את השנה שאחריה, מאוקטובר 2024 עד אוקטובר 2025.
איך טוענים
טוענים את המידע ישירות באמצעות ספריית datasets של Hugging Face בלי צורך בהרשאות מיוחדות או אישור גישה מראש. הקבצים העיקריים שמורים בפורמט parquet, לצד שני קובצי jsonl שממפים מזהי חוקרים ומאמרים. כל רשומה כוללת כותרת, תקציר, רשימת מחברים והגדרת תפקיד המאגר ביחס למאמרי היעד. שימו לב שהמאגר אינו מכיל אמבדינגס מוכנים מראש, ומי שמתכנן לעבוד איתם יצטרך לחשב אותם עצמאית בעזרת הסקריפטים בריפו החיצוני של הפרויקט.
from datasets import load_dataset
ds = load_dataset("allenai/prescience")הרישיון
הרישיון הוא ODC-BY, שמתיר שימוש חופשי כולל שימוש מסחרי ואימון מודלים. התנאי המרכזי הוא מתן קרדיט וייחוס ברור למחברים ולמכון אלן לבינה מלאכותית, ללא חובה לשתף נגזרות תחת אותו רישיון בדיוק.