open_medical_llm_leaderboard

מה זה

בעמוד הראשי מוצגת טבלת ביצועים שמציגה ציוני מודלים במשימות הערכה רפואיות שונות. אפשר לסנן את הרשימה לפי דיוק המודל, גודלו, סוג המודל וחיפוש טקסט חופשי לפי שם, לצד אפשרות להציג או להסתיר מודלים שנמחקו.

הטבלה מושכת את הנתונים ממאגר התוצאות openlifescienceai/results, והיא מציגה מדדים שנאספו עבור כל משימה. מאחורי הקלעים תהליך הבדיקה מבוסס על ספריית Eleuther AI Harness, שמריצה סדרת מבחנים אוטומטית על משקלי המודלים שנשלחים.

לשונית ההגשה כוללת שדות להזנת שם המודל מתוך Hugging Face, גרסת הקומיט, סוג המשקולות, רמת הדיוק ומודל הבסיס במקרה של מתאמים. בנוסף, מוצגים שם תורים של הערכות שממתינות, רצות או הסתיימו.

מתאים ל

• השוואת מודלים רפואיים

  בדיקת ציונים של מודלי שפה שונים כדי להחליט איזה מודל מתאים לפרויקט רפואי.

• הגשת מודל להערכה

  שליחת מודל עצמאי לבדיקה אוטומטית מול סדרת המבחנים של הפלטפורמה.

• סינון לפי גודל ודיוק

  איתור מודלים קלים שרצים ברמת דיוק ספציפית ומתאימים לחומרה מוגבלת.

איפה זה נופל

הבעיה המרכזית כרגע היא סטטוס התקלה שמונע שימוש שוטף. מעבר לכך, אין כאן אפשרות להריץ שיחה חיה עם המודלים או לבחון תשובות רפואיות בעצמכם, אלא רק לראות ציונים יבשים ממבחנים מוגדרים מראש.

התוצאות משקפות מבחנים סגורים ולא איכות של ייעוץ קליני בפועל. מודל שמקבל ציון גבוה במבחן תיאורטי עדיין יכול לייצר שגיאות מסוכנות בהקשר מעשי.

איך משתמשים

גולשים פותחים את הלשונית הראשונה ומעיינים בדירוג בלי צורך בשום קלט. כדי להגיש מודל, עוברים ללשונית ההגשה, ממלאים את פרטי המאגר ולוחצים על Submit Eval.

כרגע העמוד מדווח על שגיאת ריצה, כך שפתיחה שלו בדפדפן עלולה להציג שגיאה במקום את הממשק הפעיל. במידה והוא מתפקד, הוא רץ על מעבד משודרג שטוען קבצי תוצאות ותורים דרך תזמון רקע.

הרישיון

הקוד פתוח ברישיון apache-2.0, שמתיר שימוש, שינוי והפצה חופשית, כולל למטרות מסחריות, בכפוף לתנאי הרישיון. הגשת מודל לבדיקה מחייבת שהמאגר שלו יהיה נגיש, והציונים נרשמים באופן גלוי במאגר הנתונים הציבורי של הפרויקט.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗