colipri

מה זה

מיקרוסופט אימנה כאן מקודד תלת ממדי שמחבר בין סריקות סיטי חזה לבין טקסט באנגלית. במקום לחתוך את הבדיקה לפרוסות דו ממדיות נפרדות כמו שעושים בדרך כלל במודלים רגילים, הוא מקבל את הנפח כולו כקלט תלת ממדי בגודל 192 על 192 על 192 ומפיק ייצוגים שמתאימים לדוחות.

המשקל שלו קטן במיוחד, כמאתיים חמישים ושמונה מיליון פרמטרים. האימון נעשה על עשרות אלפי סריקות ללא תיוג ידני, ולפי המפתחים אין צורך לאמן אותו מחדש כדי להוציא ממנו תוצאות טובות בסיווג זירו שוט, אחזור טקסט מתמונה או חילוץ מאפיינים למודלים אחרים.

מתאים ל

• סיווג זירו שוט של סיטי

  זיהוי ממצאים כמו קשריות בריאה ישירות מסריקה נפחית מול טקסט חופשי באנגלית.

• אחזור דוחות וסריקות

  חיפוש הדמיות לפי תיאור טקסטואלי או מציאת מקרים דומים מתוך מאגר סיטי קיים.

• חילוץ מאפיינים לסגמנטציה

  הפקת אמבדינגס תלת ממדיים כבסיס לאימון מפענחי חלוקה לאזורים בלי להתחיל מאפס.

איפה זה נופל

האימון התבסס אך ורק על נתונים מארצות הברית ומטורקיה. המשמעות היא שהמודל מוטה לאוכלוסיות האלה, למכשירי הדימות שהיו שם ולסגנון כתיבת הדוחות המקומי. בנוסף, המפתחים מדגישים שהכלי מיועד למחקר בלבד ולא לשימוש קליני מול מטופלים. אי אפשר לקחת אותו לבית חולים או לקבל איתו החלטה רפואית.

איך מריצים

המשקל הכולל יושב על תשע מאות שמונים ותשעה מגהבייט, כך שלא צריך מפלצת מחשוב כדי להריץ אותו. כרטיס מסך בסיסי עם שמונה או שנים עשר גיגהבייט זיכרון יספיק להסקה של סריקה בודדת, אם כי עיבוד הקלט הנפחי בזיכרון עדיין דורש מעבד וראם סבירים לטעינת קובצי סיטי.

ההתקנה נעשית ישירות דרך פייתון עם הספרייה הייעודית colipri שהועלתה לחבילות. הקוד משתמש בפקודות ייעודיות כמו get_model וצינורות סיווג מובנים, ולכן אין כאן תלות בממשק המוכר של טרנספורמרס הרגיל.

pip install -U huggingface_hub
hf download microsoft/colipri

הקבצים

42 קבצים במאגר, 989 MB סך הכול. הקישורים מובילים ישירות ל־Hugging Face.

• model.safetensors1.0 GB
• COLIPRI_demo.ipynb1.5 MB
• assets/input.png927.7 KB
• uv.lock580.1 KB
• src/colipri/model/multimodal.py7.2 KB
• README.md6.7 KB
• model_card.md5.7 KB
• tests/test_custom_config.py5.1 KB
• src/colipri/pooling.py5.0 KB
• src/colipri/processor.py4.4 KB
• src/colipri/model/image.py3.9 KB
• src/colipri/checkpoint.py2.6 KB
• tests/test_config.py2.3 KB
• pyproject.toml2.1 KB
• src/colipri/pipelines.py2.0 KB
• src/colipri/types.py1.6 KB
• tests/test_pooling.py1.6 KB
• .gitattributes1.6 KB
• tests/test_text.py1.5 KB
• src/colipri/model/text.py1.5 KB
• src/colipri/configs/processor/image_transform/default.yaml1.4 KB
• LICENSE1.1 KB
• tox.ini749 B
• mise.toml648 B
• src/colipri/sample_data.py628 B
• src/colipri/defaults.py452 B
• src/colipri/configs/model/image_encoder/backbone/default.yaml395 B
• src/colipri/__init__.py317 B
• src/colipri/configs/processor/tokenizer/default.yaml221 B
• src/colipri/configs/model/text_encoder/backbone/default.yaml195 B
• src/colipri/configs/config.yaml176 B
• src/colipri/model/base.py169 B
• .gitignore119 B
• src/colipri/configs/model/image_encoder/default.yaml119 B
• src/colipri/configs/model/default.yaml105 B
• src/colipri/configs/model/image_encoder/projector/default.yaml105 B
• src/colipri/configs/processor/default.yaml101 B
• src/colipri/configs/model/text_encoder/default.yaml94 B
• src/colipri/configs/model/image_encoder/pooler/default.yaml85 B
• src/colipri/configs/model/text_encoder/pooler/default.yaml85 B

הרישיון

הקוד והמשקלים שוחררו תחת רישיון MIT. מבחינה משפטית הרישיון מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, למעט שמירה על הודעת זכויות היוצרים המקורית. עם זאת, יש לזכור שהכרטיס עצמו מגדיר את המודל למטרות מחקר בלבד.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא בעמוד המודל ↗