pubmed_qa

מה זה

המאגר מכיל שאלות מחקר שמבוססות על כותרות של מאמרים רפואיים, יחד עם התקציר המקורי מתוך פאבמד שממנו הוסרה פסקת המסקנות. כל דוגמה כוללת תשובה ארוכה שהיא המסקנה המקורית של המאמר, ותשובה קצרה מסוג כן, לא, או אולי, שמסכמת אותה.

הנתונים מחולקים לשלושה חלקים שונים לפי אופן היצירה שלהם. החלק הראשון כולל 1k דוגמאות שתויגו ידנית בידי מומחים. החלק השני מכיל 211.3k דוגמאות שנוצרו אוטומטית באמצעות היוריסטיקה פשוטה שחילצה שאלות ותיוגי כן ולא ישירות מכותרות. החלק השלישי מורכב מ 61.2k זוגות של שאלות והקשרים ללא תיוג של תשובות.

מתאים ל

• הערכת מודלים רפואיים

  בדיקת יכולת המודל לענות כן או לא על שאלות מחקר מתוך תקצירים רפואיים.

• אימון מקדים על טקסט רפואי

  שימוש במאות אלפי הדוגמאות הלא מתויגות והמלאכותיות ללמידה ביו רפואית.

• חילוץ מסקנות אוטומטי

  בניית מודל שמייצר את פסקת המסקנה מתוך גוף התקציר בלבד.

איפה זה נופל

הטקסטים כולם באנגלית בלבד ואין כאן עברית. רוב החומר המתוייג, בהיקף של 211.3k דוגמאות, נוצר באופן מלאכותי באמצעות היוריסטיקה פשוטה ולא בידי אדם, מה שעלול להכניס שגיאות לוגיות. בנוסף, יש רק 1k דוגמאות מאומתות בידי מומחים, וזה מעט מאוד לאימון מודלים כבדים מאפס ללא הסתמכות על החלק המלאכותי.

איך טוענים

טוענים את המאגר ישירות דרך פייתון עם ספריית הדאטהסטס או סקריפט הטעינה של ביגביו. הגישה ציבורית לחלוטין ואין צורך בהרשמה או באישור מקדים. הקבצים שמורים במבנה של קובצי זיפ עבור כל פיצול, והשדות העיקריים שצריך לחלץ הם השאלה, ההקשר הרפואי, התשובה הארוכה והתיוג הסופי.

from datasets import load_dataset

ds = load_dataset("bigbio/pubmed_qa")

הרישיון

הרישיון הוא רישיון MIT. הוא מתיר שימוש מסחרי חופשי, שינוי של המידע ושילוב שלו בקוד סגור, בלי דרישה לשתף את התוצרים באותו רישיון. התנאי היחיד הוא שמירת הודעת זכויות היוצרים המקורית והפניה למפרסמים.

• שימוש מסחרי
• שינוי הקוד
• הפצה מחדש

הרישיון המלא ב־Hugging Face ↗