MassSpecGym
קוד פתוחroman-bushuievmit2024-06-12
מאגר נתונים ומבחן ביצועים לזיהוי וגילוי מולקולות מתוך ספקטרומטריית מסות כפולה. הוא מיועד למי שמפתח מודלים שלומדים ישירות מספקטרום כימי ומחפש חלוקה מבוקרת לבדיקת הכללה.
- 3,181הורדות בחודש
- 23לייקים
מה זה
המאגר כולל בין 100 אלף למיליון רשומות המקשרות בין ספקטרום מסות לבין המבנה הכימי של מולקולות קטנות. בקבצים תמצאו נתוני ספקטרום לצד ייצוגי SMILES שעברו סטנדרטיזציה קנונית באמצעות RDKit בגרסה 1.5, לאחר שבגרסה הראשונה נעשה שימוש בפורמט של PubChem. המטרה כאן היא לתרגם את תהליך הזיהוי של מולקולות מדגימות ביולוגיות וסביבתיות למשימות חיזוי מוגדרות היטב.
בנוסף לקובץ הנתונים הראשי, המאגר מספק מאגרי מולקולות נלווים לאימון מוקדם ולמשימות שליפה. יש בו קובץ של כ־2.5 מיליון מולקולות שנאספו ממקורות כמו HMDB, DSSTox, COCONUT ו־MOSES, קובץ נוסף של כ־50 מיליון מולקולות מ־ZINC ו־UniChem, ומאגרי מועמדים לשליפה שמפולטרים לפי מסה או נוסחה כימית. החלוקה נעשתה כך שהמולקולות לאימון מוקדם שומרות על דמיון Tanimoto נמוך מ־0.7 מול מולקולות המבחן.
מתאים ל
- זיהוי מולקולות מספקטרום
אימון מודלים שחוזים מבנה כימי או מזהים מולקולה מתוך נתוני ספקטרומטריית מסות של דגימות ביולוגיות.
- אימון מוקדם בכימיה
שימוש בקובצי המיליונים של מחרוזות SMILES שהופרדו מראש לאימון מודלי שפה או גרפים על מולקולות.
- בדיקת ביצועי שליפה
הערכת אלגוריתמים לשליפת מולקולת המטרה מתוך מאגרי מועמדים שמפולטרים לפי מסה או נוסחה.
איפה זה נופל
זהו מאגר ספקטרומטרי ייעודי, כך שאין בו שום טקסט חופשי, תמיכה בעברית או שפות אנושיות אחרות. המגבלה המרכזית נחשפה במאמר הביקורת שליווה את עדכון 1.5, שהצביע על כשלים בהערכת מודלים בגרסה הראשונה, כולל בעיות בסטנדרטיזציה של SMILES וחוסר דיוק בהגדרת ההפרדה של סטים לבדיקה. המאגר מתמקד במולקולות קטנות ובכימיה תיאורטית, ולא מציג את כל המורכבות והרעש שתפגשו בדגימות שטח גולמיות לפני סינון.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. המאגר מופץ תחת רישיון MIT, שאינו מגביל שימוש מסחרי. אתם יכולים לאמן עליו מודלים פנימיים או מסחריים בלי לחשוף את הקוד שלכם, כל עוד אתם שומרים את עותק הרישיון המקורי.
האם יש במאגר טקסט או נתונים בעברית?
לא. המאגר מכיל רק נתונים מדעיים, ספקטרומטריית מסות ומבנים כימיים כמו SMILES. אין כאן שום תוכן טקסטואלי או שפתי.
מה ההבדל בין קובצי הבסיס לבין קובצי 1.5?
גרסה 1.5 כוללת תיקוני באגים קריטיים שהתגלו בביקורת על הגרסה הראשונה. עמודי ה־SMILES עברו סטנדרטיזציה אחידה דרך RDKit במקום PubChem, ונוספו מאגרי ענק נקיים לאימון מוקדם עם הפרדה מחמירה מסט הבדיקה.
מאיפה הגיעו המולקולות שמופיעות בקבצים הנלווים?
המולקולות לאימון מוקדם ולמועמדי השליפה נאספו ממאגרים ציבוריים מוכרים, כולל HMDB, DSSTox, COCONUT, MOSES, ZINC ו־UniChem. החוקרים סיננו אותן כך שיישמר מרחק דמיון מבני ברור מול מולקולות המבחן.
איך טוענים
אין כאן תהליך אישור מיוחד והגישה פתוחה מיד. את הנתונים אפשר לטעון ישירות ל־pandas באמצעות הספרייה הייעודית massspecgym או להשתמש במעטפת ה־Dataset של PyTorch שהם מספקים עם טוקנייזר לספקטרום. הנתונים זמינים כקובצי TSV וכן בפורמט MGF למי שרגיל לכלים ספקטרומטריים סטנדרטיים. שימו לב להשתמש בקובצי גרסה 1.5, שמתקנים בעיות סטנדרטיזציה של מחרוזות ה־SMILES ומבטיחים עבודה אחידה עם RDKit.
from datasets import load_dataset
ds = load_dataset("roman-bushuiev/MassSpecGym")הרישיון
המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי ומחקרי חופשי, שינוי של המידע ושילובו בקוד סגור, בלי צורך לשתף נגזרות באותו רישיון. החובה היחידה היא שמירת הודעת זכויות היוצרים והרישיון המקורי, וכמקובל בעולם האקדמי, החוקרים מבקשים לצטט את מאמר ה־NeurIPS שלהם אם אתם משתמשים בנתונים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש