OMG
קוד פתוחtattabiocc-by-sa-4.02024-08-07
מאגר מטאגנומי עצום של 3.1 טריליון זוגות בסיסים לאימון מודלי שפה ביולוגיים. הוא משלב חומצות אמינו מקודדות לצד רצפי נוקלאוטידים בין הגנים כדי לשמר הקשר גנומי מלא.
- 2,269הורדות בחודש
- 20לייקים
מה זה
המאגר מאחד נתונים משני מקורות מרכזיים, MGnify של ארגון EMBL ומאגר IMG של JGI. הוא בנוי בצורה מעורבת, רצפים שמקודדים לחלבון עברו תרגום לחומצות אמינו, ואילו רצפים בין גנים נשמרו כרצפי נוקלאוטידים.
כל רשומה מייצגת שלד גנומי ומכילה רשימות מסודרות של מקטעי קידוד ומקטעים בין גניים. הרשומות כוללות מזהים ייחודיים לכל מקטע, מיקומים יחסיים לאורך השלד וכיווניות הגדיל. tattabio יצרו גם שתי גרסאות נגזרות, האחת מתמקדת בגנומים איכותיים עם סיווג טקסונומי, והשנייה מכילה מקבץ חלבונים בלבד שסוננו לפי חמישים אחוזי זהות ברצף.
מתאים ל
- אימון מודלי שפה לגנומיקה
אימון מקדים של מודלים על רצפי מטאגנום שלמים המשלבים חלבונים ואזורים שאינם מקודדים.
- ניתוח ארכיטקטורת גנים
למידת הקשרים מרחביים וכיווניות בין אזורי קידוד לרצפים שביניהם על גבי חיידקים ונגיפים.
- מידול פונקציונלי של חלבונים
שימוש ברצפי חומצות האמינו המתורגמים כבסיס לחיזוי מבנה ותפקוד של רצפים לא מאופיינים.
איפה זה נופל
הכרטיס לא מפרט אילו מסנני איכות טכניים הופעלו על הרצפים הגולמיים לפני האיחוד. אין כאן מטה-דאטה סביבתי ישיר או פירוט טקסונומי מלא ברמת הרשומה הבסיסית, ולשם כך המפרסמים מפנים לגרסה המצומצמת יותר. בנוסף, מדובר בנתונים ביולוגיים נטו ואין בהם שום טקסט בשפה טבעית. מי שמתכנן להשתמש בזה למחקר יישומי יצטרך לבדוק בעצמו את רמות הכפילויות והכיסוי של אורגניזמים שונים במקורות המקוריים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון מתיר שימוש מסחרי, אך כולל דרישת שיתוף זהה. המשמעות היא שאם תשחררו נגזרת של הנתונים, תהיו חייבים לשחרר אותה תחת אותו רישיון פתוח בדיוק ולתת ייחוס ליוצרים.
כמה קבצים יש במאגר ואיך מתמודדים עם הנפח?
המאגר כולל 961 קבצים, מתוכם 960 קובצי נתונים בפורמט parquet. בגלל שמדובר ב־3.1 טריליון זוגות בסיסים, כדאי לטעון אותו בעזרת הזרמה ולא לנסות להוריד את כל החומר למחשב המקומי בבת אחת.
האם המאגר כולל טקסט בעברית או בשפה אחרת?
לא. המאגר מכיל רצפים ביולוגיים בלבד, כמו חומצות אמינו ומחרוזות דנא, לצד מזהים מספריים וטכניים באנגלית.
מאיפה הנתונים הגיעו?
הנתונים נאספו משני מאגרי מטאגנומיקה ציבוריים, MGnify שמנוהל על ידי EMBL ו־IMG של מכון JGI. המפרסמים מיזגו את המקורות ותרגמו מראש את אזורי הקידוד לרצפי חלבון.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets באמצעות tattabio/OMG. המאגר מחולק ל־960 קובצי parquet, ולכן במקום להוריד הכל מראש מומלץ להשתמש במצב הזרמה כדי לדגום רשומות ראשונות. אין צורך באישור גישה מקדים, המאגר פתוח לציבור. השדות המרכזיים לעיבוד הם רשימות הרצפים, מזהי המיקום שמגדירים את סדר המקטעים, וכיווניות הגדילים שמסומנת בערכים בוליאניים.
from datasets import load_dataset
ds = load_dataset("tattabio/OMG")הרישיון
המאגר מופץ תחת רישיון cc-by-sa-4.0. מותר להשתמש בו לצרכים מסחריים ומחקריים ומותר לעבד אותו, אך חובה לתת קרדיט ליוצרים. סעיף השיתוף הזהה מחייב שכל יצירה נגזרת או מאגר שנובע ממנו יופצו תחת אותם תנאי רישיון בדיוק. אם אתם מאמנים מודל ומשחררים משקולות או דאטהסט מעובד, תצטרכו להחיל עליהם רישיון זהה.
- שימוש מסחרי
- שינוי הקוד
- חובת שיתוף באותו רישיון