smiles-transformers
קוד פתוחmaykcaldasmit2023-04-04
המאגר מרכז מאות מיליוני מולקולות בייצוג SMILES לצד מאפיינים פיזיקו-כימיים מחושבים. הוא מיועד למי שרוצה לאמן מודלי שפה על מבנים כימיים בלי לחשב תכונות בסיסיות לבד.
- 969הורדות בחודש
- 22לייקים
מה זה
כל רשומה מייצגת מולקולה ומכילה את מחרוזת ה־SMILES שלה, נוסחה מולקולרית ועוד שורה של מדדים מחושבים. בין המאפיינים תמצאו תורמי ומקבלי קשרי מימן, ערכי LogP, ספירת הטרו-אטומים, טבעות, קשרים מסתובבים וקבוצות חומציות או בסיסיות, לצד שדה בשם Apol.
מבחינת מקורות המידע או שיטות הסינון, המפרסם השאיר את התיעוד ריק לגמרי עם הערת תזכורת להוסיף מקורות בעתיד. לא ידוע מאילו מאגרים נאספו המולקולות, אילו כפילויות נוקו בדרך או באיזה כלי חושבו המאפיינים המספריים. הנתונים מחולקים לקבצי בדיקה ואימון, אך יחסי החלוקה המדויקים אינם מפורטים.
מתאים ל
- אימון מודלי שפה לכימיה
לימוד ייצוגים מולקולריים מקדים על גבי רצפי SMILES בכמויות ענק.
- חיזוי תכונות מולקולריות
אימון מודלי רגרסיה וסיווג על בסיס נתוני ה־LogP והקשרים הכימיים.
- סינון ראשוני למחקר תרופתי
שליפת מבנים כימיים בעלי תכונות ספציפיות כמו חומציות או גמישות מבנית.
איפה זה נופל
הבעיה המרכזית היא חוסר תיעוד מוחלט. אין מידע על מקור המבנים, האם הם מסונתזים במציאות או מיוצרים תיאורטית, ומה שיעור השגיאות בחישובים הכימיים. אין כאן מילים רגילות אלא ייצוגים כימיים באנגלית ובסימול מקובל, כך שעברית כלל אינה רלוונטית. לפני שמסתמכים על המאגר לאימון מודל קריטי, אתם חייבים לדגום את הנתונים ולבדוק ידנית אם הפורמט של ה־SMILES תקין ומהימן.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן. רישיון MIT מתיר שימוש מסחרי חופשי, כולל אימון מודלים סגורים, כל עוד שומרים על תנאי הייחוס המקוריים.
האם יש במאגר תוכן בשפה העברית?
לא. המאגר כולל אך ורק מחרוזות של מבנים כימיים, נוסחאות מולקולריות וערכים מספריים באנגלית ובסימול מדעי בינלאומי.
מאיפה נאספו כל המולקולות האלו?
המקור אינו ידוע. כרטיס הדאטהסט מציין במפורש הערת עבודה להוספת המקורות שמהם לוקטו הנתונים, אך המידע הזה מעולם לא נכתב.
איך אפשר לטעון מאגר בגודל כזה?
המאגר מורכב מ־618 קבצי Parquet ומכיל מעל 100 מיליון רשומות. מומלץ לעבוד עם מנגנון הזרמת נתונים כדי לא לחרוג ממגבלות הזיכרון והאחסון המקומי.
איך טוענים
הנתונים יושבים בפורמט Parquet שמחולק ל־618 קבצים, כולל קובצי בדיקה ממוספרים, ואין צורך לבקש אישור גישה מיוחד. בגלל שההיקף נע בין 100 מיליון למיליארד רשומות, מומלץ למשוך אותו ישירות דרך ספריית datasets באמצעות הזרמה כדי לא לחנוק את הזיכרון. שדה ה־text מכיל את מבנה ה־SMILES ושאר השדות הם מספריים, כך שאפשר לסנן מראש תכונות מולקולריות לפי הצורך.
from datasets import load_dataset
ds = load_dataset("maykcaldas/smiles-transformers")הרישיון
הרישיון הוא MIT. מותר להשתמש בנתונים לכל מטרה, כולל פרויקטים מסחריים ואימון מודלים פנימיים, בלי חובה לפתוח את הקוד שלכם. התנאי היחיד הוא שמירת הודעת זכויות היוצרים והרישיון המקורי בקבצים עצמם.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש