genomics-long-range-benchmark
קוד פתוחInstaDeepAIcc-by-nc-sa-4.02024-03-19
המאגר מרכז תשע משימות גנומיות שדורשות הקשר ארוך להערכת מודלי שפה ביולוגיים. הוא חוסך איסוף ידני ממאמרים שונים ומאפשר לחתוך רצפים באורכים משתנים לפי הצורך שלכם.
- 2,747הורדות בחודש
- 15לייקים
מה זה
הנתונים מחולקים לתשע משימות נפרדות שכוללות סיווג מוטציות נקודתיות, רגרסיה של ביטוי גנים ברמת CAGE או Bulk RNA, וסיווג מקטעים רגולטוריים כמו פרומוטרים ותכונות כרומטין. הרשומות מבוססות על רצפי נוקלאוטידים של גנום האדם, ולכל משימה מצורפים ערכי מטרה מתאימים, למשל סיווג בינארי לפתוגניות או וקטורים של ביטוי רקמתי.
המקורות נשענים על עיבודים ממאמרים מוכרים כמו Enformer, DeepSea, Basenji ו־GPN-MSA, לצד מאגרים ציבוריים כמו GTEx, ClinVar ו־ENCODE. המפרסמים ביצעו דגימת חסר כדי להקטין את הנפח, למשל צמצום של מאות מסלולי CAGE לחמישים בלבד, חיתוך פרופילי כרומטין לעשרים מסלולים, ודילול של מיליוני דגימות שליליות באלמנטים רגולטוריים למיליון אחד.
רוב המשימות משתמשות בחלוקה לכרומוזומים ספציפיים לאימון ומבחן כדי למנוע זליגת מידע, למעט משימת OMIM שכוללת רק סט מבחן על פני כל הכרומוזומים.
מתאים ל
- הערכת מודלי שפה ביולוגיים
מבחן ביצועים אחיד למודלים שמתמודדים עם רצפי דנא באורכים שונים.
- חיזוי השפעת מוטציות
בדיקת יכולת המודל להבדיל בין מוטציות פתוגניות למוטציות נפוצות לפי ClinVar ו־OMIM.
- חיזוי ביטוי גנטי מרצף
אימון ובדיקה של מודלי רגרסיה לרמות רנא ברקמות שונות מתוך נתוני GTEx ו־FANTOM5.
איפה זה נופל
הבעיה הבולטת היא חוסר עקביות בגרסאות הגנום. חלק מהמשימות נשענות על גרסת GRCh38 ואחרות, כמו Bulk RNA וכרומטין, מבוססות על GRCh37 הישנה. בנוסף, אם תבקשו חלונות הקשר ארוכים מאוד, דוגמאות שנמצאות בקצוות הכרומוזומים ייחתכו וייפלטו מהמאגר. משימת OMIM כוללת סט מבחן בלבד ואינה מתאימה לאימון. נתוני CAGE במאגר אינם מנורמלים, בניגוד לנתוני Bulk RNA שעברו נרמול מראש.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח כלי מסחרי?
לא. הרישיון הוא cc-by-nc-sa-4.0, מה שאוסר במפורש שימוש למטרות מסחריות ומחייב שיתוף של נגזרות תחת אותם תנאים. הוא מיועד למחקר אקדמי ולהשוואות ביצועים בלבד.
האם יש צורך לבחור אורך רצף קבוע מראש?
אתם מגדירים את אורך הרצף בעת הטעינה באמצעות sequence_length. עם זאת, אם תגדירו רצף ארוך מאוד, חלק מהדגימות יישמטו בגלל חריגה מגבולות הכרומוזום. במשימת CAGE האורך חייב להיות כפולה של 128.
האם הנתונים אחידים מבחינת גרסת גנום האדם?
לא, וזה משהו שחייבים לשים לב אליו. משימות מסוימות משתמשות בגרסה החדשה יותר GRCh38, ומשימות אחרות נבנו על בסיס GRCh37 הישנה. אי אפשר לערבב ביניהן ישירות בלי לבצע התאמת קואורדינטות מתאימה.
האם המאגר כולל דוגמאות אימון לכל המשימות?
ברוב המשימות כן, אבל במשימת Variant Effect Pathogenic OMIM יש רק סט מבחן של 2,321,473 דגימות וללא סט אימון. המשימה הזו נועדה להערכת אפס דוגמאות או לבדיקת מודלים שכבר אומנו.
איך טוענים
טוענים את המידע דרך load_dataset של Hugging Face תוך ציון task_name מתוך תשעת השמות המוגדרים, ומעבירים את sequence_length הרצוי במספר שלם. במשימות כבדות כמו OMIM, כרומטין או אלמנטים רגולטוריים מומלץ להעביר את הדגל subset כדי להימנע מעבודה עם מיליוני דוגמאות בבת אחת. במשימת CAGE אורך הרצף חייב להתחלק ב־128 בגלל מבנה המדידה. המאגר פתוח לציבור ללא צורך באישור גישה מראש.
from datasets import load_dataset
ds = load_dataset("InstaDeepAI/genomics-long-range-benchmark")הרישיון
המאגר מופץ תחת רישיון cc-by-nc-sa-4.0. המשמעות היא איסור מוחלט על שימוש מסחרי, חובת מתן קרדיט ליוצרים, ודרישה לשתף כל נגזרת תחת אותו הרישיון בדיוק. אם תאמנו עליו מודל, סביר מאוד שלא תוכלו לשלב אותו במוצר מסחרי סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא