ChemData700K
קוד פתוחAI4Chemmit2024-04-22
המאגר מרכז שאלות ותשובות שמיועדות ללימוד הוראות בכימיה. מי שמפתח מודל שפה לתחומי המדעים המדויקים ימצא כאן חומר ממוקד שנבחר מתוך מאגר גדול בהרבה.
- 758הורדות בחודש
- 34לייקים
מה זה
הנתונים מורכבים מכ־730,000 צמדים של שאלות ותשובות שמכסים תשע משימות ליבה שונות בעולם הכימיה. כל רשומה מיועדת לחידוד היכולת של מודלים לעקוב אחרי הוראות ספציפיות בתחום, כחלק מהעבודה על ChemLLM שפורסמה באפריל 2024.
לפי כרטיס המאגר, הנתונים הם דגימה של עשירית מתוך מאגר מקורי עצום שהכיל שבעה מיליון פריטי מידע. מעבר לכך שהם מוגדרים שם כאיכותיים, היוצרים לא מפרטים בכרטיס עצמו איך בדיוק נאסף המקור, מה היו הקריטריונים המדויקים לסינון או איך נראית החלוקה הפנימית בין תשע המשימות. מי שרוצה לצלול לעומק המתודולוגיה יצטרך לקרוא את המאמר המחקרי המצורף.
מתאים ל
- אימון מודלי כימיה
כוונון עדין של מודלי שפה לעמידה בהוראות ומענה על שאלות בתשע משימות כימיות.
- הערכת ביצועים מדעיים
בדיקת יכולת המענה של מודלים קיימים על מאגר שאלות ממוקד מדעים.
- מחקר על דחיסת ידע
בחינת השפעת אימון על מדגם נבחר של עשירית מתוך מאגר גולמי גדול.
איפה זה נופל
הכרטיס קצר במיוחד ולא מספק מידע קריטי על הרכב הנתונים. אין פירוט של תשע המשימות, לא מצוין מאיזה מקורות הגיעו שבעת המיליונים המקוריים, ואין התייחסות להטיות אפשריות או לתאריכי העדכון של הידע הכימי. השפה השלטת היא ככל הנראה אנגלית לצד התיעוד בסינית, ועברית בוודאי לא קיימת כאן. אסור להכניס את זה לאימון של מודל ייצורי בלי לדגום ידנית כמה מאות שורות ולוודא שהתשובות נכונות עובדתית.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון MIT מתיר שימוש מסחרי מלא, כולל אימון מודלים פנימיים או מכירת שירותים שמבוססים עליהם. הדרישה היחידה היא שמירת הודעת הרישיון וזכויות היוצרים.
האם הדאטהסט כולל שאלות ותשובות בעברית?
לא. מדובר במאגר שנבנה למחקר בינלאומי ומלווה בתיעוד באנגלית ובסינית. אין בו תוכן בעברית, ואם אתם צריכים כימיה בעברית תידרשו לתרגם אותו עצמאית.
איך הנתונים נאספו ונבררו?
היוצרים מציינים שהרשומות נדגמו ביחס של אחד לעשרה מתוך מאגר מקור של שבעה מיליון פריטים. מעבר לציון העובדה הזו, כרטיס המאגר אינו מפרט את שיטת הסינון או מקורות המידע.
באיזה פורמט המידע שמור ואיך ניגשים אליו?
כל המידע ארוז בקובץ פרקט יחיד בתיקיית data. אין צורך בבקשת הרשאה מיוחדת, ואפשר לטעון אותו מיידית בסביבת פייתון רגילה באמצעות ספריית datasets.
איך טוענים
טוענים את המידע ישירות דרך ספריית datasets באמצעות ציון המזהה של המאגר, או מורידים ישירות את הקובץ train-00000-of-00001.parquet שנמצא בתיקיית data. מדובר בקובץ יחיד כך שאין צורך להתמודד עם איחוד של עשרות חלקים שונים.
הגישה פתוחה לחלוטין לציבור ואין צורך בהרשמה מיוחדת, אישור מוקדם או מפתחות גישה. במאגר שמורים בסך הכל שלושה קבצים, כולל התיעוד הבסיסי. לפני שמתחילים להריץ אימון, כדאי לפתוח את קובץ הפרקט כדי לבדוק את שמות העמודות המדויקים של השאלות והתשובות ולהתאים אותם לפורמט הפרומפטים שלכם.
from datasets import load_dataset
ds = load_dataset("AI4Chem/ChemData700K")הרישיון
המאגר מופץ תחת רישיון MIT. זהו רישיון מתירני שמאפשר שימוש מסחרי, שינוי והפצה, בתנאי ששומרים על הודעת זכויות היוצרים המקורית. המשמעות היא שאתם רשאים לאמן עליו מודלים מסחריים בלי שתחויבו לחשוף את הקוד שלכם או לשחרר את המשקולות תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש