TheBioCollection
קוד פתוחtrillionlabsרישיון לא דווח2026-06-25
קורפוס ביולוגי ענקי לאימון מודלי שפה, המשלב טקסט חופשי והוראות מחקריות מובנות. הוא נותן כיסוי רחב מולקולות, חלבונים, רצפים גנטיים ומסלולים תאיים.
- 2,119הורדות בחודש
- 20לייקים
מה זה
המאגר כולל 62,364,853 רשומות שמסתכמות ב־52.6 מיליארד טוקנים לפי הטוקנייזר של Gravity. הוא מחולק לשני זרמים עיקריים. החלק הראשון מכיל 37,227,311 רשומות של טקסט חופשי המהוות 64.1% מהטוקנים. החלק השני מכיל 25,137,542 רשומות בסגנון הוראות המהוות 35.9% מהטוקנים.
התוכן מבוסס על מקורות ביולוגיים מגוונים שעברו תהליך עיבוד קפדני. הצוות ביצע ניקוי כפילויות, תיוג ישויות והרחבה שלהן, העשיר את המידע בתכונות ביולוגיות שחושבו באמצעות כלים ממוחשבים, ויצר משימות הוראה עם תשובות שניתן לאמת תוכנתית. התחומים המכוסים כוללים מולקולות קטנות, חלבונים, רצפי דנ"א ורנ"א, ומידע על תאים ומסלולים ביולוגיים.
מתאים ל
- אימון מקדים למודלים מדעיים
משמש בסיס ידע עמוק למודלי שפה בתחומי הביולוגיה, הכימיה והגנטיקה.
- תכנון מולקולות ותרופות
הנתונים מתאימים למשימות של תכנון מולקולרי, סינתזה וזיהוי תכונות כימיות.
- מחקר גנומי וחלבוני
אימון מודלים לאיתור מקטעים ברצפי דנ"א ורנ"א ולתכנון קושרי חלבונים.
איפה זה נופל
היוצרים מדגישים שהמאגר לא מיועד לקבלת החלטות קליניות, אבחוניות או טיפוליות. התוכן כולו באנגלית ובפורמטים ייעודיים של ביולוגיה חישובית, כך שאין כאן שום מידע בעברית או תמיכה בשפות אחרות. בנוסף, למרות השיפור הכללי במודלים שאומנו עליו, ביצועים במשימות מסוימות נותרו נמוכים מאוד, כמו חיזוי תפקוד חלבונים שהגיע לדיוק של 0.055 בלבד. כל שימוש מעשי דורש אימות זהיר מול נתונים ביולוגיים מוכחים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
בטקסט המאגר מוגדר רישיון Apache 2.0 שמאפשר שימוש מסחרי חופשי, אם כי במטא-דאטה החיצוני הוא מופיע כלא מדווח. אפשר לבנות ולאמן מודלים מסחריים כל עוד שומרים על תנאי הייחוס של הרישיון.
האם הדאטהסט כולל טקסטים בעברית?
לא, כלל הנתונים נאספו ונכתבו באנגלית וכוללים מינוחים מדעיים ורצפים ביולוגיים בלבד. אין במאגר מקורות מקומיים או תמיכה ייעודית בעברית.
איך נאספו ועובדו הנתונים במאגר?
המידע נאסף ממקורות ביולוגיים הטרוגניים, עבר סינון כפילויות ותיוג ישויות. בנוסף, חושבו עבורו תכונות ביולוגיות באמצעות כלי תוכנה והוא עוצב בחלקו כמשימות הנחיה עם תשובות הניתנות לאימות ממוחשב.
מה נדרש מבחינת חומרה כדי לעבוד איתו?
מדובר ב־52.6 מיליארד טוקנים המחולקים לעשרות קובצי jsonl.zst, מה שדורש נפח אחסון גדול מאוד ותשתיות אימון מבוזרות. עבודה עם המאגר במלואו מחייבת סביבת מחשוב חזקה של שרתים וכרטיסי מסך ייעודיים.
איך טוענים
הנתונים מחולקים ל־67 קבצים דחוסים בפורמט jsonl.zst, ללא צורך בהרשאות גישה מיוחדות. בכל שורת JSON יש שני שדות בלבד, text שמכיל את התוכן ו־record_type שמציין אם מדובר בטקסט חופשי או בהוראה. בגלל נפח המידע והדחיסה, פריקה מלאה לדיסק דורשת מאות גיגה-בייטים, כך שעדיף להזרים את הקבצים ישירות לצינור האימון ולעבד את הדקומפרסיה בזמן ריצה.
from datasets import load_dataset
ds = load_dataset("trillionlabs/TheBioCollection")הרישיון
במטא-דאטה של הדף מופיע שלא דווח רישיון, אך בטקסט התיאור עצמו נכתב במפורש שהמאגר משוחרר תחת רישיון Apache 2.0. הרישיון הזה מתיר שימוש מסחרי, שינוי והפצה, ומאפשר לאמן מודלים ללא דרישה לפתוח את הקוד שלכם, בכפוף למתן ייחוס מתאים ושמירה על תנאי הרישיון המקוריים.