rad-dino

מה זה

מיקרוסופט אימנו את המודל על בסיס dinov2-base בלמידה ללא פיקוח, תוך שימוש ב־882,775 צילומי רנטגן מחמישה מאגרי מידע ציבוריים. התוצר אינו מחזיר תשובה טקסטואלית אלא וקטורים שמייצגים את התמונה כולה לצד וקטורים מקומיים של מקטעים בתוכה. זה מאפשר לחבר מעליו ראשים שונים, מסיווג מחלות ועד איתור אזורים חשודים, כשהמודל המרכזי נשאר קפוא.

הגישה הזו נשענת על כך שמשקלי הראייה הכלליים של מטא כוונו ספציפית לצילומי חזה. במקום להסתמך על תיאורים טקסטואליים של רדיולוגים שעלולים להטעות, המודל למד ישירות מהמבנה הוויזואלי של הצילומים, מה שהופך את הייצוגים שלו לעשירים ומדויקים יותר לעבודה קלינית מחקרית.

מתאים ל

• סיווג ממצאים בצילום חזה

  אימון שכבת סיווג פשוטה על גבי וקטור ה־CLS כדי לזהות פתולוגיות נפוצות בצילום.

• מקטוע אזורים חשודים

  שימוש במערך וקטורי המקטעים כקלט לפענוח מיקום מדויק של ממצאים בריאות.

• חיפוש מקרים דומים

  השוואת וקטור התמונה לוקטורים במאגר לצורך מציאת צילומים דומים בשיטת השכן הקרוב.

איפה זה נופל

המודל אינו מיועד לשימוש רפואי או קליני בשטח, אלא למחקר בלבד. הנתונים שעליהם הוא אומן הגיעו משלוש מדינות בלבד, מה שמייצר הטיה ברורה לאוכלוסיות ספציפיות שלא בהכרח מייצגות חולים בישראל או במקומות אחרים. בנוסף, נקודת הביקורת שפורסמה כאן אינה זהה לחלוטין לזו שמופיעה במאמר המדעי המקורי, שכן במאמר נעשה שימוש גם במידע פרטי.

איך מריצים

עם 87 מיליון פרמטרים ומשקל קבצים של פחות מגיגהבייט, אפשר להריץ אותו מקומית על כמעט כל מחשב עם מעבד גרפי בסיסי, ואפילו על מעבד רגיל אם זמן התגובה פחות קריטי. ההתקנה פשוטה דרך פקודת pip רגילה לספריית rad-dino, והוא מוציא ישירות וקטור של 768 ממדים לתמונה לצד מטריצה של 37 על 37 מקטעים.

אין שום סיבה לחפש ספק ענן או לשלם על קריאות שרת עבור מודל במשקל כזה. אם אתם מעבדים קובצי DICOM, הכרטיס מדגיש שצריך לשנות את גודל הצד הקצר ל־518 פיקסלים ולנרמל את ערכי הפיקסלים לטווח שבין 0 ל־255 כדי לקבל תוצאות שתואמות לאימון.

from transformers import pipeline

pipe = pipeline("image-feature-extraction", model="microsoft/rad-dino")
print(pipe("שלום"))

הקבצים

16 קבצים במאגר, 839 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors346.3 MB
• backbone_compatible.safetensors346.3 MB
• training_images.csv94.9 MB
• dino_head.safetensors92.6 MB
• README.md9.3 KB
• augmentations.py5.0 KB
• ssl_default_config.yaml3.2 KB
• src/rad_dino/__init__.py2.7 KB
• .gitattributes1.6 KB
• LICENSE1.1 KB
• config.json879 B
• pyproject.toml791 B
• src/rad_dino/utils.py783 B
• preprocessor_config.json756 B
• vitb14_cxr.yaml669 B
• .gitignore158 B

הרישיון

בכרטיס המודל המפתחים ציינו רישיון MIT, למרות שבנתוני המטאדטה של הדף הרישיון מוגדר כלא דווח. אם מסתמכים על טקסט הכרטיס, רישיון MIT מתיר שימוש מסחרי חופשי, אך החוקרים כותבים במפורש שהמודל מיועד למטרות מחקר בלבד ולא לשימוש קליני.

הרישיון המלא בעמוד המודל ↗