phikon
קוד פתוחowkinother2023-09-21
חילוץ מאפיינים מתמונות היסטופתולוגיה ברקמות סרטניות שונות. המודל אומן בלמידה עצמית על עשרות מיליוני דגימות ומספק בסיס חזק למשימות סיווג רפואי.
- 86Mפרמטרים
- 788 MBמשקל הקבצים
- 21,520הורדות בחודש
- 40לייקים
מה זה
מדובר במודל ראייה ממוחשבת שמיועד ספציפית לניתוח שקופיות היסטופתולוגיה, תחום שבו מודלים כלליים של תמונות פשוט לא קוראים נכון את המרקם התאי. הוא בנוי על ארכיטקטורת ViT סטנדרטית עם 86 מיליון פרמטרים, ואומן בשיטת למידה עצמית שנקראת iBOT על בסיס נתונים של ארבעים מיליון מקטעי תמונה ממאגר TCGA שמכסה מגוון רחב של סוגי סרטן.
במקום לנסות לסווג ישירות תמונה לפתולוגיה ספציפית, הוא לוקח מקטע תמונה בגודל של 224 על 224 פיקסלים ומוציא וקטור מאפיינים שמייצג את המבנה הביולוגי שלה. הווקטורים האלה משמשים כקלט למודלים פשוטים יותר במורד הזרם שמבצעים סיווג של תת סוגי סרטן, או שמשתמשים בהם כבסיס לכיול עדין על מערכי נתונים רפואיים קטנים וממוקדים.
מתאים ל
- חילוץ וקטורים משקופיות
המרת אריחי רקמה של 224 על 224 פיקסלים לייצוג נומרי שמייצג מאפיינים תאיים.
- אימון מסווגי סרטן
בניית שכבת סיווג קלה מעל הווקטורים לזיהוי תתי סוגים של גידולים ממאגרים שונים.
- כיול עדין למחקר רפואי
נקודת התחלה מאומנת היטב להיסטופתולוגיה שחוסכת אימון מודל ראייה מאפס.
איפה זה נופל
הקלט מוגבל למקטעים קטנים ומרובעים ברזולוציה קבועה של 224 על 224 פיקסלים, כך שהוא לא רואה שקופית שלמה בבת אחת ודורש מכם לחתוך ולעבד את הרקמה מראש. מעבר לכך, היוצרים כבר פרסמו גרסה שנייה ומתקדמת יותר בשם Phikon-v2, ולכן בחירה בגרסה הראשונה דורשת בדיקה מול הגרסה החדשה כדי לראות אם יש בכלל סיבה להישאר איתה. המודל גם לא מיועד לאבחון ישיר ללא מודל סיווג נוסף שיאומן על המאפיינים שלו.
אותה משפחה
phikon יצא ב־2 גרסאות שיש להן עמוד כאן. אלה האחרות, לפי כמה מורידים אותן.
שאלות
נפוצות
אפשר להעלות אליו שקופית דיגיטלית שלמה ולקבל אבחון?
לא. המודל יודע לקבל אך ורק אריחי תמונה קטנים של 224 על 224 פיקסלים, והוא מחזיר וקטור מאפיינים ולא תוצאה אבחונית. תצטרכו לחתוך את השקופית לחלקים, להריץ את כולם, ולאמן מודל נפרד שיודע לקבל את הווקטורים ולתת תחזית.
למה להשתמש בגרסה הזו אם קיימת גרסה שתיים?
ברוב המקרים אין סיבה טובה להעדיף אותה על פני Phikon-v2, אלא אם אתם משחזרים ניסוי ממאמר קיים או שבדקתם את שתי הגרסאות על הנתונים שלכם וראיתם יתרון ספציפי לראשונה. כדאי להתחיל ישר מהגרסה השנייה.
איך מריצים
טוענים את המשקלים דרך ספריית transformers בפורמט הרגיל של פייטורץ'. הקבצים שוקלים בסך הכול 788 מגה בייט, כך שכל כרטיס גרפי בסיסי מהשנים האחרונות, ואפילו מעבד מחשב נייד חזק, יכול להריץ עליו הסקת מסקנות בלי שום בעיית זיכרון.
מכיוון שאין כאן שירות ענן רשמי עם API מוכן לתשלום לפי קריאה, הדרך היחידה לעבוד איתו היא לפרוס אותו בעצמכם על שרת ייעודי או מכונה מקומית. אם יש לכם כמות עצומה של שקופיות לחתוך ולעבד, כדאי להרים מאיץ גרפי פשוט בענן כדי לסיים את החילוץ תוך זמן סביר.
from transformers import pipeline
pipe = pipeline("feature-extraction", model="owkin/phikon")
print(pipe("שלום"))הקבצים
7 קבצים במאגר, 788 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.
הרישיון
הרישיון הוא רישיון ייעודי ולא מסחרי של חברת Owkin. אפשר להשתמש בו למחקר, בדיקות פנימיות וניסויים אקדמיים, אבל אסור לשלב אותו כחלק ממוצר מסחרי, שירות בתשלום או פעילות עסקית כלשהי.