VL-Health

מה זה

המאגר מחולק לשני שלבי עבודה עיקריים: יישור ואימון הוראות. שלב היישור מתמקד בחיבור בין ייצוגי תמונה לטקסט וכולל משקולות פרויקטור מוכנות. שלב האימון מתפצל להבנה חזותית וליצירה חזותית.

בחלק ההבנה הרשומות בנויות כשיחות סביב שבעה סוגי דימות רפואי: סיטי, אמ-אר-איי, רנטגן, בדיקות עיניים מסוג אוקט ופונדוס, מיקרוסקופיה ואולטרסאונד. בחלק היצירה הרשומות מיועדות למשימות כמו המרה בין סוגי סריקות, שיפור רזולוציה ויצירת צילומי חזה מתוך דוחות מילוליים. המאגר מכיל בין מיליון לעשרה מיליון דוגמאות בפורמט ג'ייסון, אך הכרטיס אינו מפרט מה מקור הסריקות עצמן או כיצד סוננו הנתונים הגולמיים.

מתאים ל

• הבנת סריקות רפואיות

  אימון מודלים לתיאור תמונות ופענוח ממצאים בשבעה סוגי דימות, כולל סיטי, צילומי חזה ואולטרסאונד.

• יצירת צילום מתוך דוח

  פיתוח מודלים שמייצרים צילום רנטגן של בית החזה ישירות מתוך טקסט של דוח קליני באנגלית.

• שחזור ושיפור רזולוציה

  אימון מערכות לשיפור איכות סריקות רפואיות או המרה בין סוגי דימות שונים באמצעות אינדקסים חזותיים.

איפה זה נופל

כל הטקסטים והדוחות במאגר הם באנגלית בלבד, כך שאין שום תמיכה מובנית בשפה העברית או במינוח קליני מקומי. הכרטיס אינו מציין מהיכן נאספו התמונות, האם עברו אנונימיזציה מלאה, מה טווח הגילאים של הנבדקים או אילו הטיות קיימות בנתונים. לפני שמשתמשים בו לבדיקת היתכנות של מוצר, חייבים לבדוק ידנית את איכות הדוחות והסריקות כדי לוודא שאין בהם זליגת מידע אישי או עיוותים קליניים.

איך טוענים

הנתונים מחולקים למבנה תיקיות לפי שלבים, עם קובצי ג'ייסון עבור נתוני האימון והמקרים השונים לצד קובצי משקולות בינאריים. אין צורך באישור גישה מיוחד כדי להוריד את המאגר. שדות המפתח כוללים נתיב לתמונת הקלט, מערך שיחות בפורמט של פניית משתמש ותשובת מודל, ובמשימות יצירה מופיע גם נתיב לאינדקס התמונה של היעד.

from datasets import load_dataset

ds = load_dataset("lintw/VL-Health")

הרישיון

המאגר מופץ תחת רישיון MIT. הרישיון מתיר שימוש מסחרי, שינוי והפצה כמעט ללא הגבלה, כולל שילוב במוצרים סגורים, כל עוד שומרים על הודעת זכויות היוצרים המקורית. אין חובה לשתף את השינויים או את המודלים שאומנו עליו תחת אותו הרישיון.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗