ChemBench4K
קוד פתוחAI4Chemmit2024-04-21
4,100 שאלות אמריקאיות בתשעה תחומי כימיה לבדיקת מודלי שפה. הוא מיועד למי שרוצה לבחון יכולת הסקה מדעית בלי להסתבך עם בדיקת טקסט חופשי.
- 1,883הורדות בחודש
- 17לייקים
מה זה
המאגר מכיל 4,100 שאלות רב-ברירה עם ארבע אפשרויות לכל שאלה ותשובה נכונה אחת. המבנה אחיד לחלוטין: שדה שאלה, ארבע מסיחים שמסומנים באותיות A עד D, ותשובה נכונה באות אחת. לפי שמות הקבצים, המשימות מכסות נושאים כמו תרגום בין שמות למבנים מולקולריים, חיזוי תוצרי תגובה, תכנון סינתזה לאחור, חיזוי ממסים וחיזוי תכונות כימיות.
הקבצים במאגר מחולקים לפי משימות בפורמט JSON תחת תיקיית פיתוח. הכרטיס לא מפרט מאיזה מאגרים או מאמרים נאספו הנתונים במקור, וגם לא מתאר תהליך סינון ידני או אוטומטי, מלבד ההגדרה שלהם כשאלות באיכות גבוהה שנבנו עבור פרויקט ChemLLM.
מתאים ל
- הערכת מודלי שפה בכימיה
הרצת בדיקה השוואתית בין מודלים על תשע משימות כימיות שונות בפורמט שאלות אמריקאיות.
- מדידת ידע במבנים מולקולריים
בחינת היכולת של המודל לקשר בין תיאור מילולי של חומר לבין מחרוזת המבנה הכימי שלו.
- בדיקת הסקה בתגובות כימיות
מדידת הדיוק של מודלים בחיזוי תוצרים, ממסים ושלבי סינתזה לאחור מתוך רשימת אפשרויות.
איפה זה נופל
הכרטיס לא מציין מאיפה השאלות נלקחו, מה שמשאיר סימן שאלה גדול לגבי זיהום נתוני האימון במודלים קיימים. אין כאן מילה על השפות מלבד אנגלית וייצוגי מולקולות, כך שאין שום תמיכה בעברית. בנוסף, פורמט של שאלות אמריקאיות בוחן יכולת ניחוש וזיהוי דפוסים ולא ייצור מולקולות אמיתי, כך שלא הייתי מסתמך עליו כמדד יחיד לפני שמעלים מודל לפסי ייצור בעולם האמיתי.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה לפרויקט מסחרי?
כן. הרישיון הוא MIT, מה שמאפשר שימוש מסחרי מלא ומחקר חופשי. התנאי היחיד הוא שמירת הצהרת זכויות היוצרים והרישיון המקורי.
האם יש במאגר שאלות בעברית?
לא. כל השאלות והתשובות מנוסחות באנגלית, בשילוב מחרוזות של ייצוגים כימיים כמו שמות חומרים ומבנים מולקולריים.
איך מחשבים את הציון של המודל?
מזינים למודל פרומפט שדורש להחזיר רק את אות התשובה הנכונה, לרוב עם 5 דוגמאות בשיטת Few-Shot. לאחר מכן מחלצים את האות הראשונה מתשובת המודל ומשווים אותה לשדה התשובה שבקובץ.
מאיזה מקורות הגיעו השאלות?
הכרטיס במאגר לא חושף את מקורות המידע או את הדרך שבה השאלות נבנו וסוננו. הוא מקשר למאמר של ChemLLM, אך המידע הזה לא מפורט בדף הנתונים עצמו.
איך טוענים
הנתונים יושבים בקובצי JSON פשוטים שניתן לטעון ישירות בכל סביבת פיתוח בלי לבקש אישור גישה. המאגר כולל 20 קבצים בסך הכל. השדות החשובים בכל רשומה הם question, האפשרויות A עד D והשדה answer.
היוצרים בנו את הבנצ'מרק לעבודה מול ספריית OpenCompass וממליצים להריץ אותו בהערכת Few-Shot עם חמש דוגמאות בברירת מחדל, תוך חילוץ האות הגדולה הראשונה מתשובת המודל.
from datasets import load_dataset
ds = load_dataset("AI4Chem/ChemBench4K")הרישיון
המאגר מופץ תחת רישיון MIT. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולשלב אותו במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אימון מודל על הנתונים האלה לא מחייב אתכם לפתוח את המשקלים של המודל.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש