ESL-Bench
קוד פתוחmirobodyapache-2.02026-03-17
בנצ'מרק שבוחן סוכני בריאות מבוססי שפה על ציר זמן רפואי רציף. הוא מציע נתונים סינתטיים מבוססי גרף ידע עם תשובות דטרמיניסטיות לחלוטין.
- 4,701הורדות בחודש
- 16לייקים
מה זה
כל רשומה מייצגת משתמש וירטואלי בעל פרופיל דמוגרפי, מדדים רפואיים, תוצאות בדיקות מעבדה וציר זמן של אירועים כמו שינויי תזונה או מחלות חריפות. הנתונים לא נלקחו מחולים אמיתיים אלא סונתזו באמצעות מודל ג'מיני שלוש פרו בשילוב מודל מתמטי של תגובה בזמן ומגבלות פיזיולוגיות. המאגר מכיל מעל אלף קבצים שמחולקים לפי קבוצות חודשיות החל ממרץ 2026.
לכל משתמש מוצמד קובץ שאלות אובייקטיביות שנבנו ישירות מתוך גרף הידע של האירועים והמדדים שלו. השאלות מחולקות לפי חמישה ממדי יכולת: שליפת מידע, זיהוי מגמות, השוואות, איתור חריגות והסבר סיבתי, לצד שלוש רמות קושי. החל מאמצע 2026 נוסף ממד התנהגותי שבודק עמידות מול שתילת הנחות שגויות בשיחה.
מתאים ל
- בדיקת זיכרון ארוך טווח
בחינת יכולת הסוכן לחלץ עובדות מתוך רצף אירועים ומדדים שנפרס על פני זמן רב.
- הערכת הסקת מסקנות רפואית
מדידת הדיוק בזיהוי מגמות פיזיולוגיות, איתור חריגות ומתן הסברים סיבתיים לשינויים.
- בחינת עמידות בפני הטעיות
בדיקה אם המודל מזהה הנחות שגויות שמושתלות בשאלות המשתמש מבלי להפוך לפקפקן מדי.
איפה זה נופל
הנתונים סינתטיים לגמרי ונועדו אך ורק למחקר ולהערכת מודלים, כך שאסור להסתמך עליהם לטיפול או לאבחון רפואי בעולם האמיתי. השפה השלטת היא אנגלית, עם כמות מוגבלת של שאלות בסינית באחת האצוות, ואין פה עברית בכלל. בנוסף, ההתפלגות הסינתטית אינה משקפת בהכרח את המורכבות, הרעש והטעויות שמאפיינים תיקים רפואיים אמיתיים שנכתבים בקופות חולים או בבתי חולים.
שאלות
נפוצות
האם אפשר להשתמש בזה למוצר מסחרי?
כן, רישיון אפאצ'י שתיים אפס מאפשר שימוש מסחרי חופשי ושינוי של הנתונים. הדרישה העיקרית היא מתן קרדיט ושמירה על קובץ הרישיון המקורי. יחד עם זאת, החומרים נועדו להערכת ביצועים ולא כבסיס להחלטות רפואיות אמיתיות.
האם המאגר כולל תמיכה בעברית?
לא. הנתונים והשאלות נכתבו באנגלית, למעט אצווה ספציפית אחת ששילבה מעט פריטים בסינית. אם המערכת שלכם מיועדת לעברית, תצטרכו לתרגם את השאלות והפרופילים באופן עצמאי.
מאיפה הגיעו הנתונים הרפואיים?
כל המידע סונתז מאפס באמצעות מודל שפה של גוגל בשילוב מודלים מתמטיים של תגובות גופניות לאירועים. אין כאן נתונים שנלקחו ממטופלים אמיתיים או ממכשירים לבישים פיזיים.
במה הוא שונה ממאגרי שאלות ותשובות רפואיים רגילים?
במקום לבחון ידע רפואי כללי מספרים, הוא מעמיד סוכן מול היסטוריה רפואית שלמה של אדם לאורך זמן. כל התשובות נגזרות בצורה דטרמיניסטית מגרף ידע ייעודי שנבנה לכל משתמש, ללא צורך בניחושים.
איך טוענים
אין צורך באישור גישה כדי להוריד את הקבצים. במקום למשוך את כל 1,279 הקבצים, מומלץ לקרוא את קובץ המניפסט בפורמט ג'ייסון, לזהות את האצווה הפעילה העדכנית, ולהוריד נקודתית את קובצי ה־JSONL המוכנים. הקבצים המרכזיים להזנה למודל הם ציר הזמן והפרופיל, כאשר ההערכה עצמה מתבססת על שדות השאלה והתשובה הצפויה. שימו לב שבחלק מהאצוות הפעילות התשובות מוסתרות, ומשתחררות בקבצים נפרדים רק כשהאצווה נסגרת.
from datasets import load_dataset
ds = load_dataset("mirobody/ESL-Bench")הרישיון
המאגר מופץ ברישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים, לשנות אותו ולשלב אותו במוצרים, בתנאי ששומרים על הודעת הרישיון והייחוס ליוצרים. אין חובה לשחרר מודלים שאומנו עליו תחת אותו רישיון.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים