Carbon-3B

מה זה

המודל פועל כמודל גנרטיבי לרצפי דנ״א ורנ״א, עם התמקדות משמעותית ביצורים אאוקריוטיים. בניגוד למודלים שמפרקים רצפים לבסיס בודד בכל פעם, הוא משתמש בטוקנייזר שמקבץ שישיות של בסיסים יחד. הגישה הזו מאפשרת לו לדחוס חלון הקשר טבעי של כמעט מאתיים אלף זוגות בסיסים, ולהגיע לכמעט ארבע מאות אלף באמצעות מתיחה.

במבחני חיזוי השפעת מוטציות ודיוק שחזור רצפים, המודל עומד מול מתחרים גדולים ממנו בהרבה, כמו מודל של שבעה מיליארד פרמטרים. במדדי וריאנטים קליניים הוא מוביל במקרים לא מקודדים ומציג ביצועים כמעט זהים באזורים מקודדים, כשהיתרון המעשי הוא מהירות ריצה גבוהה במיוחד שמאפשרת סריקת גנומים שלמים בלי צווארי בקבוק.

מתאים ל

• חיזוי השפעת מוטציות

  חישוב הסתברויות לרצפים מאפשר לזהות האם שינוי בבסיס בודד או באזור לא מקודד עלול לפגוע בתפקוד הביולוגי.

• ניתוח רצפים ארוכים

  חלון ההקשר הנרחב מתאים לאיתור מוטיבים גנטיים מרוחקים זה מזה על פני מאות אלפי בסיסים בו זמנית.

• יצירה מותנית של מקטעי דנ״א

  שימוש בתגיות מטא דאטה מאפשר לכוון את הפקת הרצפים לפי מין ביולוגי או סוג הגן הנדרש.

איפה זה נופל

הטוקנייזר מקבל אך ורק את ארבע האותיות הבסיסיות של דנ״א באותיות גדולות. אם הרצף שלכם כולל אותיות קטנות או קודי אי־ודאות ביולוגיים נפוצים, המודל פשוט יהפוך אותם לערכים לא מוכרים ואיכות הפלט תיהרס. בנוסף, חובה לעטוף כל קלט בתגית ייעודית, אחרת המערכת מפרשת את הרצף כטקסט באנגלית ומאבדת את כל הדיוק. מעבר לכך, האימון התמקד בעיקר ביצורים אאוקריוטיים, כך שחיידקים ויצורים פרוקריוטיים מקבלים ייצוג מוגבל יחסית, והרחבת ההקשר מעבר לשישים וארבעה אלף טוקנים מובילה לנפילה חדה ביכולת לשלוף נתונים מהרצף.

אותה משפחה

Carbon יצא ב־3 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.

איך מריצים

המשקל הכולל עומד על 6.4 גיגה בייט בפורמט bfloat16, מה שאומר שכרטיס מסך בודד עם 16 גיגה זיכרון יספיק לטעינה והרצה פשוטה. אם אתם רוצים למתוח את חלון ההקשר עד לקצה של שישים וארבעה אלף טוקנים, תצטרכו כרטיס עם 24 גיגה זיכרון ומעלה כדי להתמודד עם צריכת הזיכרון של שכבות תשומת הלב. המודל בנוי על ארכיטקטורת Llama ונתמך ישירות בספריות כמו vLLM, כך שקל לשלב אותו בסביבות שרת קיימות.

לצד המודל הזה קיים גם מודל קטן של חצי מיליארד פרמטרים, שמיועד לשמש כטיוטה להאצת ההפקה של המודל הראשי. למי שעובד על רצפים קצרים או מריץ ניסוי חד פעמי, עדיף להשתמש בנקודת קצה מנוהלת ולא להקים תשתית עצמאית.

from transformers import pipeline

pipe = pipeline("text-generation", model="HuggingFaceBio/Carbon-3B")
print(pipe("שלום"))

הקבצים

17 קבצים במאגר, 6.4 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model-00001-of-00003.safetensors2.5 GB
• model-00002-of-00003.safetensors2.5 GB
• model-00003-of-00003.safetensors1.9 GB
• tech-report.pdf4.1 MB
• figures/carbon-3b-banner.png1.3 MB
• figures/inference.png197.2 KB
• figures/pareto.png119.3 KB
• tokenizer.py26.6 KB
• model.safetensors.index.json23.5 KB
• README.md22.6 KB
• tokenizer_config.json5.5 KB
• .gitattributes1.8 KB
• added_tokens.json707 B
• config.json670 B
• special_tokens_map.json616 B
• dna_config.json160 B
• generation_config.json115 B

הרישיון

המודל מופץ תחת רישיון Apache 2.0. זהו רישיון קוד פתוח מתירני שמאפשר שימוש מסחרי, שינוי של הקוד והמשקולות, שילוב במוצרים פנימיים והפצה ללקוחות. התנאי העיקרי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים שמפיצים הלאה.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗