opengenome2

מה זה

המאגר כולל רצפי דנא גולמיים ומעובדים שמכסים חיידקים, ארכאונים, אאוקריוטים ווירוסים. הנתונים נאספו משורה ארוכה של מאגרים ציבוריים מוכרים, ביניהם GTDBv220, IMG/PR, מאגרי מטאגנומיקה כמו MGD DB, וכן NCBI ו־Ensembl עבור אאוקריוטים ורנא. המאגר מציע גם מטא-דאטה של המינים בקובץ ייעודי בשם species_metadata.csv שיושב בתיקייה הראשית.

המבנה מחולק לשתי תיקיות מרכזיות לפי פורמט העבודה. תיקיית fasta כוללת את הרצפים הגנומיים עצמם, כמו חלונות גנומיים של 5 קילו-בסיס מאאוקריוטים. תיקיית jsonl מכילה את הרצפים המעובדים ששימשו לאימון בפועל, כולל הוספת טוקנים מיוחדים ותגיות פילוגנטיות שנועדו להכוונת המודל.

מתאים ל

• אימון מודלי שפה ביולוגיים

  אימון מודלי יסוד על רצפי דנא מגוונים באורך מלא או בחלונות קצרים.

• מחקר ביואינפורמטי והשוואתי

  ניתוח רצפים גנומיים מאורגניזמים שונים באמצעות קובצי ה־FASTA המאוחדים.

• אימון מודלי הקשר ארוך

  שימוש בקובצי ה־JSONL המתוייגים פילוגנטית להרחבת חלון ההקשר של מודל קיים.

איפה זה נופל

חלוקת המידע מוטה מאוד ולא מאוזנת. בשלב ההרחבה רוב הטוקנים מגיעים מבעלי חיים וצמחים, בזמן שקבוצות שלמות כמו פרוטיסטה וכרומיסטה מקבלות ייצוג שולי של פחות מאחוז. אם אתם בונים כלי למחקר מיקרוביאלי ספציפי או לאורגניזמים נדירים, אי אפשר להסתמך על חלוקת הדגימה המקורית בלי לאזן אותה מחדש בעצמכם.

איך טוענים

אין כאן הורדה בכפתור אחד של Hugging Face Datasets רגיל. המאגר מורכב מ־1,126 קבצים, שרבים מהם מכווצים ומפוצלים לחלקים, למשל קובצי fasta.gz עם סיומות כמו aa ו־ab. תצטרכו להוריד את הקבצים ישירות, לאחד ולפתוח אותם מקומית. אין צורך בבקשת גישה מיוחדת, אבל תצטרכו נפח אחסון ותשתית עיבוד שמסוגלים להתמודד עם טריליוני בסיסים לפני שמתחילים לגעת במידע.

from datasets import load_dataset

ds = load_dataset("arcinstitute/opengenome2")

הרישיון

הרישיון הוא Apache 2.0. הוא מתיר שימוש מסחרי, שינוי והפצה, ואינו מחייב אתכם לשחרר את המודלים שתאמנו תחת אותו רישיון. חובה לשמור על הודעות זכויות היוצרים והרישיון המקורי. בנוסף, המפרסמים מבקשים לתת ציטוט למאגרי המקור הציבוריים שמהם נדגמו הרצפים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗