SciKnowEval
קוד פתוחhicai-zjumit2024-06-12
שאלות ומבחנים להערכת מודלי שפה על ידע מדעי, מזיכרון מושגים ועד יישום ושיקולי אתיקה. הוא מתאים למי שבונה מודל ייעודי למדעים ורוצה לדעת איפה הוא עומד מול גלגולים של ג'יפיטי.
- 2,793הורדות בחודש
- 17לייקים
מה זה
הרשומות במאגר הן שאלות מדעיות, בעיקר בתחומי ביולוגיה וכימיה, כאשר בהמשך צורפו פיזיקה ומדעי החומרים. המבנה כולל שאלות רב ברירה לצד משימות של שליפת ישויות, חילוץ יחסים, מיון טקסט וסיכום. הנתונים מחולקים לחמש רמות קושי ויכולת, החל משינון עובדות בסיסי, דרך הבנה והסקה לוגית, ועד זיהוי רעילות ושימוש מעשי במדע.
מקורות המידע משלבים כמה ערוצים. חלק נגזר ממאמרים וספרי לימוד דרך ביורקייב, פאבמד וליברטקסט, שמהם נוצרו שאלות בעזרת פרומפטים ישירים ללא הוספת ידע חיצוני. חלק שני מתבסס על עיבוד מחדש ושינוי ניסוח של שאלות ממאגרים מוכרים כמו מד-אם-סי-קיו-איי, כדי להפחית זיהום נתונים. החלק השלישי הוא המרה של נתונים מובנים ממאגרי נתונים דוגמת פאבכם ויוניפרוט לשאלות טקסטואליות, כאשר כל משימה עברה ביקורת של שני מומחי תוכן.
מתאים ל
- הערכת מודלים מדעיים
הרצת סקריפט בדיקה כדי להשוות ביצועי מודל מול מדדים קיימים בביולוגיה, כימיה ופיזיקה.
- בדיקת בטיחות ואתיקה במדע
בחינת היכולת של מודל לזהות חומרים רעילים, סיכונים ביולוגיים והשלכות אתיות של מחקר.
- אימון משלים לידע מדעי
שימוש ברשומות השאלות והתשובות כחומר גלם לכיוונון עדין על משימות הבנה והסקה מדעית.
איפה זה נופל
כל הטקסטים במאגר הם באנגלית בלבד. אין כאן תמיכה בעברית, ומונחים מדעיים מתורגמים לא נבדקים כאן כלל. בנוסף, חלק ניכר מתהליך הייצור, השכתוב והחלוקה לרמות בוצע על ידי מודלי שפה, מה שמכניס הטיות ניסוח קיימות של אותם מודלים. החיסרון התפעולי הבולט הוא התלות בהערכה חיצונית. אם אין לכם מפתח פעיל של אופן-איי-איי, סקריפט הבדיקה פשוט מדלג על המשימות שדורשות בדיקת טקסט פתוח.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון MIT מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או שילוב הנתונים במוצרים סגורים. הדרישה היחידה היא לכלול את תנאי הרישיון המקורי בהפצת הקוד או הנתונים.
האם המאגר כולל תוכן בעברית?
לא. כל הנתונים, המאמרים שנאספו והשאלות שנוצרו הם באנגלית בלבד. אם המוצר שלכם מיועד לעבודה מול חוקרים או רופאים בעברית, תצטרכו לתרגם ולתקף את המונחים לבד.
איך המידע בדאטהסט נאסף?
החוקרים אספו מאמרים וספרי לימוד, ניסחו מהם שאלות באמצעות מודלי שפה, שכתבו מבחנים קיימים כדי למנוע זליגת מידע, והמירו מסדי נתונים כימיים וביולוגיים לשאלות מילוליות. כל המשימות עברו בקרת איכות על ידי שני מומחים בתחום.
מה נדרש כדי להריץ את מבחני ההערכה של המאגר?
מעבר להורדת קובצי הנתונים, הסקריפט הרשמי דורש קובץ משקולות וורד-טו-וק של גוגל ניוז לצורך בדיקת חילוץ יחסים. בנוסף, עבור שאלות שדורשות ציון על טקסט פתוח, נדרש מפתח של אופן-איי-איי שמריץ את ג'יפיטי-4-או.
איך טוענים
הנתונים יושבים בקובצי jsonl במאגר, למשל sciknoweval_test_v1.jsonl וגרסת v2, ללא צורך באישור גישה מיוחד. כדי להריץ את ההערכה מכינים קובץ פלטים שבו לכל רשומה מוסיפים שדה תגובה עם הניבוי של המודל, תוך שמירה על כל השדות המקוריים כמו שאלה, אפשרויות, תחום ורמת הקושי. בדיקת התוצאות תלויה בכלים חיצוניים: משימות חילוץ יחסים דורשות הורדה נפרדת של מודל וורד-טו-וק של גוגל ניוז, וחלק ממשימות ההערכה הפתוחות מופעלות מול מפתח של אופן-איי-איי כדי להשתמש בג'יפיטי כמעריך.
from datasets import load_dataset
ds = load_dataset("hicai-zju/SciKnowEval")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש חופשי לחלוטין, כולל אימון, שינוי, בדיקה ושימוש מסחרי ישיר, ללא חובת שיתוף של תוצרים באותו רישיון. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי בקבצים. אין ברישיון הזה מגבלות שמכתיבות מה מותר לעשות עם משקולות של מודל שנבדק או אומן על הדאטה.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש