open-genome
קוד פתוחLongSafariapache-2.02024-07-06
מאגר גנומי שמחולק לשלבי אימון עם חלונות הקשר שונים לגמרי, שמגיעים עד 131 אלף טוקנים. הוא נבנה במיוחד למי שמפתח מודלים להבנת רצפים ביולוגיים ארוכים.
- 429הורדות בחודש
- 31לייקים
מה זה
הנתונים מבוססים על קובצי parquet, כאשר בחלק מהנתיבים מופיע המקור gtdb, מאגר מוכר של גנומים של חיידקים וארכיאות. המאגר כולו מחולק לשני שלבים עיקריים לפי אורך ההקשר. השלב הראשון מיועד להקשר קצר יותר של 8k, והשלב השני קופץ להקשר ארוך במיוחד של 131k. מעבר לחלוקה הזו, כל שלב מכיל פיצול מסודר של אימון, ולידציה ובדיקה.
הכרטיס לא מפרט אילו שדות מופיעים בכל רשומה, איך הרצפים חולקו, או אילו סינונים ובקרות איכות הופעלו על הדגימות. מהקבצים הגלויים אפשר לראות שחלק האימון של השלב הראשון פוצל ל־12 קבצי shard לפחות, מה שמעיד על נפח נתונים משמעותי.
מתאים ל
- אימון מקדים להקשר ארוך
אימון מודלים גנומיים בשני שלבים, החל מהקשר בסיסי של 8k ועד רצפים של 131k.
- בדיקת צינורות עיבוד
שימוש בפיצול ה־sample כדי להריץ בדיקות תקינות מהירות לקוד האימון בלי להוריד את כל הדאטהסט.
- הערכת ביצועי מודל
בחינת יכולות חיזוי של מודלי שפה ביולוגיים על סטי ה־test המוכנים בכל שלב הקשר.
איפה זה נופל
התיעוד דל מאוד ולא כולל פרטים קריטיים על תהליך הסינון, הניקוי או ההרכב הביולוגי המדויק של המאגר. שפת המאגר מוגדרת כ־en למרות שמדובר בנתונים גנומיים, ואין שום מידע על הטיות אפשריות לעומת אורגניזמים מסוימים. לפני שאתם מתבססים עליו לאימון של מודל יקר, תצטרכו למשוך את הדגימה, לפתוח את השדות ידנית ולבדוק איך הרצפים נראים ומה בדיוק נשמר שם.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא apache-2.0 ומאפשר שימוש מסחרי מלא. התנאי העיקרי הוא שמירה על הצהרת הרישיון וזכויות היוצרים של המפרסמים. אין חובה לחשוף את הקוד שלכם או לפתוח את המודל המאומן.
האם הדאטהסט הזה דורש אישור גישה מיוחד?
לא, המאגר פתוח לחלוטין להורדה דרך huggingface. אפשר להוריד אותו ישירות דרך פקודת load_dataset ללא הרשמות מקדימות או אישורים ידניים.
כמה המאגר שוקל בפועל?
הכרטיס לא מציין את המשקל הכולל בגיגה-בייטים. עם זאת, יש במאגר 22 קבצים וחלק האימון של השלב הראשון מפוצל ללפחות 12 קובצי shard, מה שמלמד שמדובר בנפח לא קטן.
איך הנתונים נאספו וסוננו?
היוצרים לא פירטו בכרטיס את שלבי האיסוף או הסינון. לפי שמות הקבצים המקור הוא gtdb, אך אין תיעוד לגבי בקרת איכות, הסרת כפילויות או חלוקת האורגניזמים.
איך טוענים
טוענים את הנתונים דרך ספריית datasets באמצעות פקודת load_dataset רגילה עם ציון השלב הרצוי, למשל stage1. אין צורך לבקש אישור גישה מראש. הקבצים יושבים בפורמט parquet, וכדאי לקחת בחשבון ששלב האימון הראשון שוקל לא מעט ומחולק לחלקים. אם אתם רק רוצים לבדוק שהקוד והצינור שלכם עובדים לפני שמורידים עשרות קבצים, המפתחים הגדירו קונפיגורציה נפרדת בשם sample שמאפשרת למשוך דגימת ולידציה קטנה בלבד.
from datasets import load_dataset
ds = load_dataset("LongSafari/open-genome")הרישיון
המאגר מופץ תחת רישיון apache-2.0, שהוא רישיון קוד פתוח מתירני מאוד. מותר להשתמש בנתונים לצרכים מסחריים, לשנות אותם ולשלב אותם בפרויקטים סגורים, כל עוד שומרים על הודעת זכויות היוצרים והרישיון המקורי. אין כאן דרישה לשתף את המודל שתאמנו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים