ECGBench
קוד פתוחPULSE-ECGרישיון לא דווח2024-10-20
מאגר מבחן להערכת מודלים רב-מודליים על פענוח תרשימי אק"ג, משלב תמונות אות מסונתזות לצד חומרים ממקורות אמיתיים. החוקרים בנו אותו כדי לבדוק יכולות אבחון ושאלות ותשובות קליניות.
- 1,360הורדות בחודש
- 18לייקים
מה זה
המאגר מיועד לבדיקת ביצועים של מודלים מול תמונות של תרשימי אק"ג בארבע משימות מרכזיות. שתיים מהמשימות מבוססות על נתונים קיימים שבהם המירו אותות גולמיים לתמונות סינתטיות, וגזרו שאלות ותשובות מתוך דוחות רפואיים קיימים לצורך זיהוי חריגות והפקת דוחות. שתי המשימות הנוספות פותחו בעזרת מקורות חיצוניים, וכוללות תמונות לצד שאלות ותשובות שנאספו ממקורות בעולם האמיתי.
החלוקה הפנימית במאגר מתבטאת בתיקיות שונות לפי מקורות המידע והמבחנים. בין הקבצים תמצאו פיצולים שונים כמו code15-test, cpsc-test, ecgqa-test, arena ו־mmmu-ecg, כולם נשמרים כקובצי parquet ומאפשרים לבחון היבטים ספציפיים, החל משאלות מובנות ועד משימות השוואה או שאלות ללא שרשרת מחשבה.
מתאים ל
- הערכת מודלים רב-מודליים
מדידת הדיוק של מודל ראייה ושפה בפענוח תמונות אק"ג ומענה על שאלות קליניות.
- בדיקת זיהוי חריגות באק"ג
בחינת היכולת של מערכת לאתר בעיות לבביות מתוך תמונות אות מסונתזות.
- הפקת דוחות רפואיים
השוואת טקסט אבחוני שמייצר המודל אל מול דוחות רפואיים מקוריים.
איפה זה נופל
חלק משמעותי מתמונות האק"ג במאגר נוצר באופן סינתטי מתוך אותות דיגיטליים, ולא מדובר בסריקות של דפים אמיתיים עם קמטים, צילום עקום או איכות הדפסה ירודה שרופאים פוגשים בפועל בישראל. כל הטקסטים והדוחות נבנו באנגלית, כך שאין כאן שום ייצוג למינוח רפואי בעברית. אם אתם בונים מערכת קלינית, אי אפשר להסתמך רק על ביצועים במבחן הזה בלי לוודא עבודה מול תרשימים מבתי חולים מקומיים.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מסחרי?
היוצרים לא הגדירו רישיון בדף המאגר. כל עוד אין רישיון פתוח מוצהר, אין היתר חוקי להשתמש במידע לצורך מסחרי. יש לפנות ישירות למחברי המאמר לקבלת הבהרות.
האם יש במאגר נתונים או דוחות בעברית?
הנתונים כולם באנגלית. המאגר מתבסס על מקורות בינלאומיים ואינו כולל תיעוד רפואי או שאלות בשפה העברית.
איך נוצרו התמונות במאגר?
חלק מהתמונות נוצרו בצורה סינתטית מהמרת אותות אק"ג דיגיטליים גולמיים לגרפים ויזואליים. חלק אחר כולל תמונות שנאספו ישירות ממקורות אמיתיים חיצוניים יחד עם שאלות ותשובות מתאימות.
איך המאגר מאורגן להורדה?
הנתונים מחולקים לתיקיות לפי סוגי מבחנים שונים, דוגמת code15, cpsc, ecgqa ו־mmmu. כל חלק מאוחסן כקובץ parquet יחיד שניתן לטעון בנפרד.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets או בקריאת קובצי parquet מתוך התיקיות השונות במאגר. אין כאן תהליך הרשמה מיוחד או בקשת גישה חריגה, הכל פתוח להורדה ישירה. המאגר מכיל 11 קבצים בסך הכל. שדות המפתח כוללים את תמונות התרשימים, השאלות הנלוות ותשובות הייחוס שנלקחו מהדוחות הרפואיים.
from datasets import load_dataset
ds = load_dataset("PULSE-ECG/ECGBench")הרישיון
היוצרים לא ציינו שום רישיון שימוש בעמוד המאגר. מבחינה משפטית, היעדר רישיון אומר שכל הזכויות שמורות ואין הרשאה ברורה להשתמש בחומרים, לא למחקר חופשי ובטח שלא למוצר מסחרי. לפני שאתם מריצים בדיקות על המאגר או מאמנים עליו מודל, צריך לפנות לצוות המחקר של PULSE ולברר תחת אילו תנאים הם מתירים שימוש בנתונים.