MEDIC-Benchmark

מה זה

במקום ממשק צ'אט שמייצר טקסט, מדובר בלוח מעקב שמרכז נתוני ביצועים. המסך מציג טבלאות נתונים בשתי גרסאות שונות, לצד מודלים מובילים שנבדקו כמו גרסאות של ליאמה 70B ודיפסיק R1. הדגש כאן הוא על בדיקת משימות רפואיות לפי מדדים קבועים מראש, על בסיס מחקר שהקבוצה פרסמה בנושא.

חוץ מעיון בתוצאות הקיימות, אפשר להזין בקשות הערכה למודלים חדשים שנמצאים בהאגינג פייס. המערכת קוראת קובצי תוצאות בתבנית ג'ייסון שכוללת את שם המודל, מזהה הגרסה, סוג הנתונים של המשקולות והציונים שהתקבלו במשימות השונות, ובונה מזה את השורות בטבלה הראשית.

מתאים ל

• השוואת מודלים למשימות רפואה

  בדיקת ציונים וביצועים של מודלים גדולים במבחנים קליניים לפני בחירת תשתית למחקר.

• הגשת מודל עצמאי לבדיקה

  הזנת פרטי מודל ציבורי כדי להכניס אותו לתור ההערכה ולהציג את תוצאותיו בטבלה.

• מעקב אחר גרסאות המבחן

  מעבר בין לשוניות הבדיקה השונות כדי להבין את השינויים במדדים בין גרסה 1 לגרסה 2.

איפה זה נופל

זהו אינו כלי אבחון, הוא לא מקבל שאלות רפואיות של משתמשים ולא מספק ייעוץ. מי שמצפה לנסות כאן מודל רפואי בפועל יתאכזב, כי הממשק כולל רק מדדי השוואה וטפסי הגשה. בנוסף, ההסתמכות היא על תוצאות שהוגשו ונבדקו במסגרת מבחן ספציפי, כך שאין כאן בדיקה של התנהגות המודלים בעברית או במערכות קליניות מקומיות.

איך משתמשים

טעינת הדף מציגה ישירות את טבלאות ההשוואה בין המודלים, ללא צורך בהרשמה לצפייה. העמוד רץ על מעבד בסיסי, מה שמספיק להצגת הטבלאות ולסינון הנתונים, אך לא מריץ חישובים כבדים בדפדפן. שליחת מודל חדש לבדיקה דורשת הזנת הפרטים שלו דרך טופס ההגשה, כאשר תהליך הבדיקה עצמו נכנס לתור ונשמר במאגר נפרד.

הרישיון

הקוד מפורסם תחת רישיון אפאצ'י 2.0, שמאפשר שימוש חופשי, שינוי והפצה גם לצרכים מסחריים. נתוני הבקשות והתוצאות נשמרים במאגרים ציבוריים בהאגינג פייס, ולכן אין להעלות מידע רפואי חסוי או נתונים פרטיים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗