NVIDIA מלמדת מודלי עולם לנתח במקום להבין אנטומיה

סימולציה כירורגית תמיד הייתה כאב ראש הנדסי יקר במיוחד. במשך שנים צוותי פיתוח נאבקו עם משוואות אלמנטים סופיים, מודלים של עיוות רקמות והגדרות מגע מורכבות כדי לגרום לכלים רובוטיים להיראות אמינים על מסך בחדר ניתוח. עכשיו NVIDIA מנסה להשליך את המודלים הנומריים לפח ולהחליף אותם ברשת נוירונים. בפוסט שפרסמה החברה בבלוג הרשמי שלה, היא הציגה את Cosmos3-H-Dreams: מודל עולם שמייצר וידאו לפרוסקופי חי לפי פקודות תנועה, במקום לחשב גאומטריה תלת-ממדית.

הניסוי הזה מבריק הנדסית, אבל לדעתי הוא מוקדם מדי עבור מי שבונה מערכות אמיתיות.

מסלול עוקף פיזיקה

במקום לכתוב מנוע פיזיקלי שמגדיר איך כבד מגיב למשיכה, המודל לומד התנהגות ויזואלית מתוך הקלטות קליניות אמיתיות של זרועות הפלטפורמה הרובוטית Versius מבית CMR Surgical. ההקלטות כוללות וידאו ברזולוציה של 832x480 לצד וקטור קינמטיקה בן 28 ממדים. הווקטור מכיל נתוני מיקום וכיוון של שתי הזרועות, פקודות פתיחה וסגירה לתופסן, שליטה באנרגיה של צורב ומצבי ג'ויסטיק. הנתונים סונכרנו בקצב דגימה של 10 הרץ, מה שמאפשר לחבר בין פקודת תנועה לשינוי בפריים הבא.

המערכת הקודמת, Cosmos-H-Dreams שהתבססה על Cosmos-Predict2.5, הוגבלה למשימות תפירה בסיסיות על שולחן ניסויים עם רובוט dVRK מול רקע סטטי. המעבר לסביבה קלינית של כריתת כיס מרה (Cholecystectomy) מעמיד אתגר שונה. בתוך חלל הבטן כל תנועה קטנה של תופסן Cadiere משפיעה על המבנה כולו: רקמות נמתחות, תאורה משתקפת מנוזלים ביולוגיים, איברים מסתירים זה את זה ואדי צריבה מעוותים את הראות בזמן אמת.

המודל נדרש לקבל תמונת פתיחה בודדת ורצף פעולות של המנתח, ולייצר בלוקים עוקבים של וידאו שבהם האנטומיה והכלים שומרים על יציבות. ריאליזם ויזואלי הוא רק נקודת התחלה לאימות ולא הוכחה לדיוק ביומכני, מזהירים החוקרים Lukas Zbinden ו-Javier Gamazo בפוסט הטכני של החברה. אם אתם מצפים שהמודל יידע מתי כיס המרה ייקרע על בסיס חישובי מאמץ אלסטיים אמיתיים, זה פשוט לא מה שהוא יודע לעשות כרגע.

מורה מול תלמיד על כרטיס בודד

בבסיס המערכת פועל מודל Cosmos3-H-Embodied-Nano, שמכיל 16 מיליארד פרמטרים ואומן מראש על מאגר הנתונים Open-H-Embodiment. על בסיס המשקולות הללו אימנה NVIDIA מודל מורה דו-כיווני שהותאם במיוחד לווידאו וקינמטיקה של ניתוחי כיס מרה. בשלב הראשון המורה אומן לחזות אופק של 24 פריימים עתידיים, ולאחר מכן הורחב טווח הלמידה ל-72 פריימים. בקצב דגימה של 10 הרץ, מדובר בחלונות זמן של 2.4 שניות ו-7.2 שניות שבהם המורה לומד את הדינמיקה הכירורגית.

מודל דו-כיווני רואה את העתיד ואת העבר יחד, ולכן אינו מסוגל לרוץ בסימולציה אינטראקטיבית שבה העתיד תלוי בתנועת היד של המפעיל. לשם כך יצרה החברה תהליך זיקוק שהופך את המורה למודל תלמיד סיבתי (Causal) שמייצר וידאו בבלוקים קצרים תוך כדי קבלת פקודות תנועה בזמן אמת.

תהליך הזיקוק מורכב משני שלבים עיקריים. תחילה, מנגנון Causal Teacher Forcing מאמן את התלמיד לבצע ייצור עוקב על בסיס ההקשר המוקלט מראש. לאחר מכן מופעל שלב Self-Forcing, שבו מודל התלמיד מתאמן על ההקשר שהוא עצמו ייצר בצעדים הקודמים, בהנחיית מודל המורה ומודל מבקר (Critic). הצעד הזה קריטי, כי בלעדיו שגיאות קטנות בפריימים הראשונים מצטברות ומביאות לקריסה מהירה של התמונה ברצפים ארוכים.

NVIDIA שחררה שני צ'קפוינטים נפרדים של מודל התלמיד. הראשון משתמש ב-4 צעדי דה-נויזינג לכל בלוק וידאו ומספק פירוט ויזואלי גבוה, בעוד השני אומן בנפרד עם לוח זמנים של 2 צעדים בלבד כדי להאיץ את קצב הפריימים על חשבון חדות התמונה. כדי לאפשר את הריצה החיה, מנוע FlashDreams של אנבידיה מנהל את הזרמת הנתונים, בעוד מודול זיכרון מותאם בשם FadeMem מאחד את זיכרון ה-Attention במהלך ריצות ממושכות ומונע חריגה מזיכרון הכרטיס.

ריאליזם ויזואלי הוא נקודת התחלה לאימות, לא הוכחה לדיוק ביומכני. הסצנה המיוצרת חייבת גם לציית לפקודות הבקרה.Lukas Zbinden וצוות הפיתוח בדוקומנטציה של NVIDIA

תמונה יפה אינה ביומכניקה

לא הייתי ממהר לסגור את מחלקות הסימולציה הקלאסיות. המודל הנוכחי אומן על שני כלים ספציפיים בלבד: תופסן Cadiere ביד שמאל וו צריבה מונופולרי ביד ימין. אם הפרוצדורה דורשת זרוע שלישית, החלפת מכשיר למספריים או שימוש במהדק סיכות, המערכת כלל אינה מכירה את הפעולות הללו. בנוסף, נתוני האימון הוגבלו במכוון למצבים שבהם מצלמת הלפרוסקופ כמעט נייחת כדי למקד את הלמידה בתנועת המכשירים, כך שכל הזזה מהירה של שדה הראייה עלולה לשבור את התמונה.

המגבלה המהותית ביותר נוגעת להיעדר ולידציה ביומכנית. בניסויים שבהם נבדקו מסלולי תנועה שלא הופיעו באימון, המודל אמנם המשיך לייצר רקמות מתעוותות, אך מדובר בניחוש פיקסלים סטטיסטי ולא במידול של תכונות אלסטיות, צמיגות נוזלים או התנגדות פיזית של איברים. ברובוטיקה כירורגית שבה משוב כוח ודיוק מגע קובעים אם עורק ייקרע או שכיס המרה יינקב ויזהם את חלל הבטן, סימולטור שרק נראה טוב אינו מספק בסיס מספיק לאימון מדיניות אוטונומית.

החוקרים עצמם מודים בכך ומגדירים שורה של יעדי מחקר עתידיים: הרחבת הסימולציה לכל שלבי הניתוח, חיבור מודל הווידאו למנועי פיזיקה וגאומטריה נומרית כדי להגביל את העיוותים, תמיכה בכלים מרובים והערכה קלינית מובנית בעזרת מנתחים מומחים.

קוד פתוח עם כוכבית חומרה

הקוד זמין לשימוש בתוך מאגר ה-GitHub הייעודי, בעוד משקולות המודל זמינות להורדה ב-Hugging Face תחת רישיון פתוח של החברה. בנוסף סיפקה NVIDIA מדריך ייעודי המפרט את שלבי אימון המורה ותהליך ה-Self-Forcing, כך שצוותים בעלי נתונים משלהם יכולים תיאורטית לאמן מודלים לפרוצדורות נוספות, בתנאי שיש ברשותם הקלטות וידאו מסונכרנות לקינמטיקה ב-10 הרץ עם 28 ממדי שליטה תואמים.

עבור תעשיית הראייה הממוחשבת והרובוטיקה הרפואית בישראל, ממרכז הפיתוח של מדטרוניק סביב פעילות מזור רובוטיקס ועד חברות כמו RSIP Vision, מדובר בכלי מחקר מסקרן לבחינת אלגוריתמים מקדימים. זהו מגרש משחקים מצוין לבדיקת תגובת ראייה לפקודות תנועה בלי להשבית מערכת כירורגית אמיתית.

אבל יש מלכוד, והוא יושב בתוך המחשב. לפי NVIDIA, הרצת המודל האינטראקטיבית מתבצעת על גבי כרטיס תחנת עבודה יחיד מדגם RTX PRO 6000. מי שיקווה לחסוך ולהריץ את המערכת על כרטיסי מסך צרכניים פשוטים ייתקל בקושי בשל דרישות הזיכרון, שכן מודל בסיס של 16 מיליארד פרמטרים לצד מנגנוני הסטרימינג של FlashDreams דורש חומרה מקצועית ייעודית. המחיר של תחנת עבודה כזו בארץ מגיע לעשרות אלפי שקלים אצל המפיצים המקומיים.

מי שמחפש קיצורי דרך יגלה מהר מאוד שהפיזיקה עדיין מנצחת את הפיקסלים.