LitSearch
קוד פתוחprinceton-nlpרישיון לא דווח2024-07-09
מאגר לאימון והערכה של מנועי חיפוש למאמרים מדעיים. הוא מרכז 597 שאילתות מציאותיות על מאמרי בינה מלאכותית ועיבוד שפה טבעית מול קורפוס של עשרות אלפי מסמכים.
- 1,097הורדות בחודש
- 23לייקים
מה זה
המאגר מחולק לשלושה חלקים עיקריים שמרכיבים סביבת בדיקה מלאה לשליפת מידע מדעי. החלק הראשון מכיל 597 שאילתות חיפוש, חלקן נכתבו ידנית על ידי מחברי המאמרים עצמם וחלקן הופקו בעזרת מודל שפה מפסקאות שכוללות ציטוטים. כל שאילתה עברה בדיקה או עריכה ידנית בידי מומחים, וצמודים אליה מזהי המאמרים הרלוונטיים, הערכות איכות וספציפיות, ומטא-דאטה על מקור השאילתה.
החלק השני כולל קורפוס נקי של 64,183 מסמכים מדעיים, שמהם חולצו כותרות, תקצירים ומזהי הציטוטים היוצאים מכל מאמר. החלק השלישי מציג בדיוק את אותם 64,183 מסמכים, אבל במבנה הנתונים המלא של פרויקט המחקר הפתוח של סמנטיק סקולר, כולל כל המטא-דאטה המקורי שנלווה אליהם.
מתאים ל
- בדיקת מערכות שליפה מדעיות
מדידת ביצועים של מודלי חיפוש ודירוג מול מאמרים בתחומי עיבוד שפה ולמידת מכונה.
- שיפור מנועי המלצה למחקר
פיתוח אלגוריתמים שמזהים מאמרים רלוונטיים על בסיס טקסט חופשי ושאילתות מורכבות.
- אימון מקודדים סמנטיים
כוונון ייצוגים וקטוריים של תקצירים וכותרות לצורך התאמה מדויקת לשאלות משתמשים.
איפה זה נופל
התחום מוגבל לחלוטין למאמרי בינה מלאכותית ועיבוד שפה טבעית, בלי כיסוי לתחומי מדע אחרים. כל החומרים באנגלית בלבד, ואין כאן ייצוג למחקר או לשאילתות בעברית. חלק מהשאילתות נוצר בידי מודל שפה סביב פסקאות קיימות, כך שלא כולן נולדו מצורך מחקרי אותנטי בזמן אמת, וכמות השאילתות הכוללת קטנה ועומדת על כמה מאות בלבד.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
לא דווח רישיון בעמוד המאגר. ללא רישיון ברור אין היתר משפטי לשימוש מסחרי, וזה עלול לחשוף אתכם לתביעות על זכויות יוצרים.
האם יש במאגר תמיכה בעברית?
אין שום תמיכה בעברית. כל השאילתות והמאמרים הם באנגלית מתחומי הבינה המלאכותית ועיבוד השפה הטבעית.
איך נאספו השאילתות בבנצ'מרק?
החוקרים שילבו שאילתות שמחברי המאמרים כתבו בעצמם עם שאלות שמודל שפה יצר מתוך פסקאות עם ציטוטים. כל השאלות נבדקו ונערכו ידנית על ידי מומחים.
מה ההבדל בין שתי תצורות הקורפוס במאגר?
הקורפוס הנקי מכיל רק כותרות, תקצירים ומזהי ציטוטים יוצאים. התצורה השנייה כוללת את אותם המסמכים בדיוק אבל במבנה המלא של סמנטיק סקולר עם כל המטא-דאטה.
איך טוענים
טוענים את המידע ישירות באמצעות פקודת הטעינה הרגילה עם ציון התצורה הרצויה, שאילתות, קורפוס נקי או קורפוס סמנטיק סקולר. המאגר פתוח להורדה מיידית ואינו דורש אישור גישה מראש. הקבצים שמורים בפורמט פרקט ומחולקים למספר מקטעים בכל תצורה. השדות החשובים לחיבור הם מזהי המאמרים המקשרים בין השאילתות למסמכים המלאים, לצד תוכן הכותרות והתקצירים שמיועדים לשליפה.
from datasets import load_dataset
ds = load_dataset("princeton-nlp/LitSearch")הרישיון
החוקרים שפרסמו את המאגר לא דיווחו על רישיון שימוש בעמוד הנתונים. במצב כזה, מבחינה משפטית אין הרשאה מפורשת לעשות בו שימוש, במיוחד לא בפיתוחים מסחריים או במוצרים פנימיים בחברות. מומלץ לפנות לצוות המחקר או לבדוק את המאמר המלווה כדי לקבל אישור רשמי לפני שמשלבים את המידע בתהליכי פיתוח.