SciArena

מה זה

הנתונים נאספו ישירות ממשתמשים דרך פלטפורמת SciArena, בשיטה שדומה לזו של צ'אטבוט ארנה אבל ממוקדת במדע. כל רשומה מייצגת התמודדות עיוורת סביב שאלה שהזין חוקר או משתמש, שדרשה תשובה ארוכה ומבוססת ספרות.

בתוך כל דוגמה תמצאו את השאלה המקורית, את שתי התשובות שנוצרו על ידי שני מודלים שונים, את שמות המודלים שהתחרו, ואת ההצבעה של המשתמש שקבע מי ענה טוב יותר. בנוסף, הרשומות כוללות תיוג של סוג השאלה, תחום הידע המדעי, ומערכי ציטוטים מדויקים עבור כל אחת מהתשובות שמראים לאילו מאמרים המודלים הפנו.

מתאים ל

• אימון מודלי תגמול מדעיים

  אימון מודלי העדפה על בסיס הצבעות אנושיות בשאלות מחקר מורכבות.

• הערכת ציטוטים בספרות

  בדיקה אם מודלים שונים מייצרים הפניות אמינות ונכונות למאמרים מדעיים.

• כיוונון תשובות מדעיות

  אימון מודלי שפה על תשובות מנצחות להפקת הסברים ארוכים ומנומקים.

איפה זה נופל

ההערכות מבוססות על הצבעות של משתמשים שהגיעו לפלטפורמה, וכרטיס המאגר לא מפרט תהליך סינון ידני נוסף או פיקוח על רמת המומחיות של המצביעים. המאגר מתמקד בספרות מדעית, וכפי שעולה מהמבנה שלו, השאלות והתשובות באנגלית בלבד בלי ייצוג לעברית. אם אתם בונים מערכת שמסתמכת על מאמרי המקור עצמם, הקבצים כאן כוללים רק את מטא הדאטה של הציטוטים, והחוקרים מפנים למאגר נפרד עבור הטקסט המלא של המאמרים שנשלפו.

איך טוענים

המידע יושב בפורמט JSON פשוט בתוך קובץ train.json, לצד קובץ README. מורידים אותו ישירות דרך ספריית datasets או בטעינת קובץ רגילה בקוד, בלי שום צורך לבקש אישור גישה מוקדם או לחכות למפתחות. המאגר עצמו כולל שלושה קבצים בלבד, כך שלא מדובר בהורדה כבדה ומורכבת. בעבודה עם הנתונים, המפתחות החשובים לניתוח הם שדות השאלה, התשובות, ההצבעה ומערכי הציטוטים שמגיעים עם שמות המחברים.

from datasets import load_dataset

ds = load_dataset("yale-nlp/SciArena")

הרישיון

המאגר מופץ תחת רישיון MIT, אחד הרישיונות המתירניים ביותר שיש. אפשר להשתמש במידע למחקר, לפיתוח מוצרים פנימיים וגם לאימון מודלים מסחריים בלי לשלם תמלוגים. הדרישה היחידה היא לשמור על הודעת זכויות היוצרים והרישיון המקורי, בלי חובה לשתף את המודל או הנגזרות שלכם באותו אופן.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗