GPT
P

PULSE-7B

קוד פתוח

PULSE-ECGapache-2.02024-10-20

  • safetensors
  • llava_llama
  • medical
  • image-text-to-text
  • en

מודל ראייה ושפה שמיועד לפענוח ישיר של תצלומי אק"ג מודפסים ודיגיטליים. הוא עוקף את הצורך באותות חשמליים גולמיים ומנתח את התמונה עצמה.

  • 7.1Bפרמטרים
  • 4,096טוקנים בהקשר
  • 13.2 GBמשקל הקבצים
  • 1,578הורדות בחודש

מה זה

מערכות מסורתיות לניתוח אק"ג דורשות גישה לקבצי אותות גולמיים של הפעילות החשמלית, תלות שמסבכת הטמעה במקומות שבהם יש רק סריקות או דפים מודפסים. המודל הזה מתבסס על ארכיטקטורת LlavaLlama ומאומן על מאגר נתונים ייעודי של מעל מיליון דוגמאות הוראה, במטרה לקרוא את התרשים החזותי עצמו.

במבחני הביצועים של היוצרים מול מודלים רב-מודאליים כלליים, הוא מציג שיפור דיוק של 15 עד 30 אחוזים במשימות שונות על גבי תשעה מאגרי בדיקה. במקום לנסות לזהות הפרעת קצב ספציפית בעזרת קוד ייעודי, אפשר להעביר אליו תמונה ולשאול שאלות קליניות ישירות באנגלית.

מתאים ל

  • פענוח תצלומי אק"ג מודפסים

    חילוץ תובנות מתמונות וסריקות של דפי נייר ישנים כשאין גישה לקובץ האות החשמלי המקורי.

  • מחקר קליני חישובי

    בדיקת ביצועים של מודלי שפה על תרשימים קרדיולוגיים מגוונים כחלק ממחקרי בינה מלאכותית.

  • מיון ראשוני של בדיקות

    זיהוי דפוסים חריגים בתרשימים דיגיטליים לצורך תעדוף עבודה פנימית בסביבות מחקר.

איפה זה נופל

זהו כלי מחקרי בלבד, ואסור להסתמך עליו לקבלת החלטות רפואיות אמיתיות בשטח. הוא אומן באנגלית בלבד, כך שאינו מבין הנחיות או מונחים בעברית, וחלון ההקשר שלו מוגבל ל־4,096 טוקנים. מעבר לכך, פענוח חזותי רגיש לאיכות הצילום, זוויות עקומות או כתמי לכלוך על גבי הדף המודפס, מה שעלול לייצר הזיות באבחון.

שאלות
נפוצות

האם המודל יודע לקרוא אותות דיגיטליים גולמיים כמו קבצי תדר?

לא. הארכיטקטורה שלו מיועדת לעיבוד תמונה וטקסט, ולכן הוא מקבל תצלומים בלבד ולא נתוני מתח רציפים ממכשירי ניטור.

האם אפשר להשתמש בו לקבלת החלטות בטיפול בחולים?

בשום אופן לא. המודל שוחרר כפרויקט מחקר אקדמי ואינו מחזיק באישור רגולטורי לשימוש רפואי אבחנתי.

האם המודל מבין הוראות שנכתבו בעברית?

האימון נעשה כולו באנגלית, ולכן הנחיות בעברית עלולות לפגוע בדיוק התוצאות או להוביל לשגיאות בפענוח.

איך מריצים

כדי להעלות את 7.1 מיליארד הפרמטרים שלו בדיוק bfloat16 מלא, תצטרכו כרטיס מסך בודד עם 24 גיגה זיכרון, כמו RTX 3090 או A10G. הקבצים שוקלים קצת מעל 13 גיגה, כך שגם עם קוונטיזציה אפשר לדחוס אותו לכרטיסים צנועים יותר בלי לאבד הרבה.

אם אין לכם כרטיס מתאים מקומית, עדיף להרים אותו זמנית בשרת ענן ייעודי עם מעבד גרפי. אין לו שירות ענן ציבורי מנוהל שסוגר את הפינה בקריאת רשת פשוטה, אז תצטרכו לנהל את סביבת הפייתון והקוד בעצמכם.

pip install -U huggingface_hub
hf download PULSE-ECG/PULSE-7B

הרישיון

הרישיון הוא apache-2.0, שמאפשר שימוש חופשי כולל שימוש מסחרי, שינוי והפצה של הקוד והמשקולות. התנאי העיקרי הוא שמירת הקרדיט והצהרת הרישיון המקורית. עם זאת, בגלל האופי הרפואי, שימוש במוצר חי דורש בדיקות רגולציה ואחריות משפטית עצמאית.

  • שימוש מסחרי
  • שינוי הקוד
  • הפצה מחדש
  • שימוש בפטנטים

הרישיון המלא בעמוד המודל ↗