MolParser-7M

מה זה

המאגר מחולק למספר חלקים ברורים שנועדו לשלבי אימון והערכה שונים. החלק העיקרי הוא סט אימון מקדים סינתטי שמכיל מעל 7.7 מיליון דוגמאות. לצידו ישנו סט כוונון עדין שמבוסס על שרטוטי מולקולות אמיתיים עם תיוג אנושי, שממנו נשמר חלק לתחרות עתידית בתחום.

בנוסף, המאגר מספק סט אימות קטן לבדיקה מהירה במהלך הריצה, וכן בנצ'מרק ייעודי בשם WildMol שכולל 20 אלף תמונות שנחתכו מתוך מאמרים מדעיים ופטנטים אמיתיים. בנצ'מרק זה מפוצל לשניים, עשרת אלפים מבנים פשוטים ועשרת אלפים מבני מרקוש מורכבים. הייצוג הטקסטואלי של התמונות משתמש בפורמט SMILES מורחב שהחוקרים הגדירו במאמר שלהם.

מתאים ל

• אימון מקדים לזיהוי מולקולות

  לימוד מודלים ויזואליים לפענח שרטוטים כימיים לייצוג מורחב בהיקף נתונים רחב.

• הערכת ביצועים על פטנטים

  בדיקת דיוק של מודלי פענוח מולקולרי מול שרטוטים אמיתיים ומבני מרקוש מורכבים.

• כוונון עדין על תיוג אנושי

  שיפור ביצועי מערכות ראייה ממוחשבת באמצעות דוגמאות אמיתיות שתוייגו ידנית.

איפה זה נופל

עיקר הדאטהסט, מעל 7.7 מיליון רשומות, מורכב מתמונות סינתטיות לחלוטין ולא ממסמכים שנסרקו במציאות. המשמעות היא שהמודל עלול להתקשות מול סריקות פגומות, רעשי רקע קיצוניים או עיוותים אופטיים שמופיעים בדפוס ישן. בנוסף, חלק מנתוני התיוג האנושי נשמרו מחוץ למאגר לצורך תחרות, והפורמט המורחב דורש היכרות מוקדמת עם ההגדרות מהמאמר של החוקרים.

איך טוענים

הנתונים מחולקים ל־124 קבצים, כאשר חלק האימון הסינתטי לבדו פרוס על פני לפחות 117 קבצי Parquet שונים. אין צורך באישור גישה מיוחד כדי להוריד את הקבצים, הגישה פתוחה ישירות מהמאגר הציבורי. מומלץ למשוך רק את החלקים הרלוונטיים באמצעות ספריית datasets או ישירות כקבצי Parquet, שכן גודל האימון הסינתטי דורש נפח אחסון משמעותי וזמן עיבוד ממושך. השדה המרכזי שחשוב לשים לב אליו הוא הכיתוב של התמונה, שאינו מופיע כפורמט מחרוזות רגיל אלא במבנה מורחב שמצריך התאמה של הטוקנייזר או מודל הפענוח שלכם.

from datasets import load_dataset

ds = load_dataset("UniParser/MolParser-7M")

הרישיון

הרישיון הוא cc-by-nc-sa-4.0, מה שאומר שהשימוש מוגבל למטרות לא מסחריות בלבד, מחייב מתן קרדיט מלא ליוצרים, ודורש להפיץ כל יצירה נגזרת תחת אותו הרישיון בדיוק. אימון מודל על הנתונים הללו יכבול אתכם לאיסור שימוש מסחרי, אלא אם תפנו ישירות לחוקרים במייל המופיע בכרטיס לקבלת אישור.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗