Eval1

מה זה

המאגר מציע סט הערכה שכולל בין אלף לעשרת אלפים רשומות ומחולק לפי משימות שונות בתחום הביורפואי. הדוגמאות מגיעות בצורת פרומפט ותשובה נכונה, ומכסות נושאים כמו אבחון מחלות נדירות, תעדוף וריאנטים גנטיים, זיהוי גנים מחוללי מחלה במחקרי אסוציאציה, ושיטות הולכה של קריספר.

מבנה התשובות תלוי במשימה עצמה. בחלק מהמקרים התשובה המצופה היא אות במבחן רב ברירה, באחרים מדובר במזהה גנטי, שם גן, או מחרוזת בפורמט JSON שמכילה מזהי OMIM וגנים מחוללים. המפרסמים לא ציינו בדף המאגר מה מקור הנתונים הראשוני או אילו תהליכי סינון וניקוי בוצעו עליהם לפני הפרסום.

מתאים ל

• בדיקת מודלים בגנטיקה

  הערכת היכולת של מודל שפה לזהות גנים מחוללי מחלה ותעדוף וריאנטים.

• מדידת ידע במחלות נדירות

  בחינת יכולת האבחון של מודלים והחזרת מזהי OMIM תואמים בפורמט מובנה.

• ולידציה למשימות מעבדה

  הרצת מבחני רב ברירה בתחומים ניסויים כמו שיטות הולכה של מערכות קריספר.

איפה זה נופל

הנתונים כולם באנגלית ומנוסחים בז'רגון ביולוגי ומחקרי כבד. אין פה שום תמיכה בעברית, ולא כדאי לבנות עליו לבדיקת מודלים קליניים מקומיים שצריכים להתמודד עם שפה טבעית של מטופלים או רופאים בישראל. מעבר לזה, התיעוד לא מפרט מהיכן הגיעו הנתונים או מה התאריך שבו נאספו, כך שאי אפשר לדעת אם התשובות מייצגות ידע רפואי עדכני ומבוסס או שחלקן סובלות מהטיות של מאגרי מקור ישנים.

איך טוענים

טוענים את הנתונים ישירות דרך ספריית פייתון ייעודית בשם biomni, או פותחים עצמאית את קובץ ה־parquet שנמצא במאגר. המאגר פתוח לחלוטין ואין צורך לבקש אישור גישה מראש. כשעובדים עם הקוד, חשוב לשים לב להבדל בין שני שדות זיהוי. השדה instance_id מיועד לאינדוקס פנימי של כלל הטבלה, ואילו השדה task_instance_id משמש לפונקציית הבדיקה והציון לפי המשימה הספציפית.

from datasets import load_dataset

ds = load_dataset("biomni/Eval1")

הרישיון

הרישיון הוא Apache 2.0. הוא מתיר שימוש מסחרי ומחקר חופשי, מאפשר לשנות את הקבצים ולהפיץ אותם, ואינו מחייב אתכם לשחרר את המוצר או את המודל שלכם תחת אותו רישיון. החובה העיקרית היא לכלול עותק של הרישיון המקורי ולתת קרדיט למפרסמים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש
• שימוש בפטנטים

הרישיון המלא ב־Hugging Face ↗