phikon-v2
קוד פתוחowkinother2024-05-17
חילוץ מאפיינים חזותיים מתמונות היסטופתולוגיה ברזולוציה גבוהה. הוא אומן עצמאית על 450 מיליון תמונות רקמה כדי לשמש בסיס לזיהוי ביומרקרים וסיווג שקופיות.
- 303Mפרמטרים
- 1.1 GBמשקל הקבצים
- 315,410הורדות בחודש
- 43לייקים
מה זה
מדובר במודל ראייה מבוסס Vision Transformer בארכיטקטורת ViT-Large עם 303 מיליון פרמטרים. הוא עבר אימון עצמי בשיטת DINOv2 על מאגר ענק בשם PANCAN-XL, שכולל תמונות רקמה בהגדלה של 20x מסריקות שלמות של רקמות ממאירות ובריאות. המטרה שלו פשוטה, להמיר תמונת רקמה בגודל 224 על 224 פיקסלים לווקטור מאפיינים יחיד בגודל 1024 דרך הטוקן CLS.
הגרסה הזו משפרת את המודל הקודם של אותה קבוצה, שאומן רק על 40 מיליון תמונות בשיטת iBOT. הדאטהסט הנוכחי גדול פי עשרה ומכיל שילוב בין סרטן לרקמות תקינות ממאגרים ציבוריים. המפתחים בדקו אותו מול מודלים אחרים על קוהורטים חיצוניים כדי לוודא שאין זליגת נתונים מהאימון, כך שהייצוגים שלו אמורים להחזיק מעמד טוב יותר על דגימות מבתי חולים ומעבדות שלא נראו במקור.
מתאים ל
- סיווג שקופיות שלמות
חילוץ וקטורים מכל אריח בשקופית והזנתם למודל MIL לזיהוי ממאירות כוללת.
- חיזוי ביומרקרים
איתור מוטציות גנטיות ומאפיינים מולקולריים ישירות מדפוסי הרקמה בתמונת H&E.
- חלוקה לאזורים ברקמה
חיבור וקטורי המאפיינים לרשת סגמנטציה לצורך סימון אוטומטי של אזורי גידול.
איפה זה נופל
המודל הזה רק מחלץ מאפיינים, הוא לא מסווג בעצמו. כדי לזהות מחלה או לחזות ביומרקר צריך לבנות שכבה נוספת מעליו, כמו Linear Probe או אלגוריתמים של Multiple Instance Learning. בנוסף, האימון התבצע אך ורק על תמונות ברזולוציית 20x בגודל 224 על 224 ממאגרי H&E ציבוריים מסוימים, כך שאם הדגימות שלכם מגיעות מצביעות שונות, ממיקרוסקופים שונים או בהגדלות אחרות, הביצועים שלו עשויים לרדת בצורה חדה.
אותה משפחה
phikon יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
האם המודל מוציא תשובה ישירה אם יש גידול בתמונה?
לא. המודל מחזיר וקטור של 1024 מספרים שמייצג את תוכן התמונה. כדי לקבל אבחנה צריך לאמן מסווג פשוט על גבי הווקטורים האלה באמצעות דוגמאות מתויגות.
האם אפשר להשתמש בו במוצר מסחרי של דיגיטל פתולוגיה?
לא לפי הרישיון הנוכחי. המודל שוחרר תחת רישיון לא מסחרי של Owkin, ומותר להריץ אותו רק בסביבות מחקר ופיתוח שאינן מיועדות למסחור.
איך מריצים
המשקל של הקבצים עומד על 1.1 גיגה בייט בלבד, כך שהרצת הסקה מקומית לא דורשת תשתית כבדה. כל כרטיס מסך מודרני פשוט עם 4 או 8 גיגה זיכרון מריץ אותו בלי למצמץ, ואפילו מעבד רגיל יספיק לבדיקות נקודתיות של תמונות בודדות. טוענים אותו ישירות דרך ספריית transformers של פייתון ומעבירים אליו תמונות דרך המעבד התואם.
אם הכוונה היא לחלץ מאפיינים ממיליוני אריחים מתוך שקופיות שלמות (WSI), צוואר הבקבוק יהיה ה־I/O והזמן של ה־GPU. במקרה כזה כדאי להשתמש בכרטיס מהיר עם PyTorch ולעבד בקבוצות גדולות, או להשתמש ב־LoRA כדי לכוונן אותו נקודתית דרך הקוד שהמפתחים שיתפו.
from transformers import pipeline
pipe = pipeline("image-feature-extraction", model="owkin/phikon-v2")
print(pipe("שלום"))הקבצים
6 קבצים במאגר, 1.1 GB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון מוגדר כלא מסחרי על ידי Owkin. מותר להוריד, לחקור ולפתח מודלים לצורכי מחקר ואקדמיה בלבד. אם יש כוונה לשלב אותו במערכת מסחרית, מוצר רפואי בתשלום או כחלק משירות שמניב הכנסות, הרישיון הזה חוסם אתכם ולא מאפשר שימוש כזה.