healthsearchqa
קוד פתוחkatielinkunknown2023-08-04
המאגר כולל שאלות בריאות נפוצות שאנשים חיפשו ברשת, כפי שגוגל אספה לצורך מחקר Med-PaLM. הוא מתאים למי שרוצה לבחון מודל מול ניסוחי שאלות אמיתיים של משתמשי קצה ולא מול מבחני רפואה תיאורטיים.
- 747הורדות בחודש
- 22לייקים
מה זה
גוגל ליקטה את הנתונים האלה עבור המאמר שלה על Med-PaLM, שפורסם גם ב־Nature. החוקרים לקחו מונחי בסיס של מצבים רפואיים ותסמינים נלווים, והשתמשו בהם כדי לשלוף שאילתות חיפוש פומביות ונפוצות שהוצגו למשתמשים במנוע חיפוש. הרעיון היה לבנות בנצ'מרק פתוח שמייצג דאגות אמיתיות של הציבור הרחב.
בסך הכל יש כאן 3,173 שאלות קצרות בטקסט חופשי, בלי תשובות מוכנות מראש. הדוגמאות כוללות שאלות ישירות כמו עד כמה פרפור עליות הוא מצב חמור, איזה סוג שיעול מגיע עם קורונה, או האם דם בליחה זה עניין מסוכן. המבנה פתוח לחלוטין ומתמקד רק בשאלה עצמה.
במאגר של katielink תמצאו ארבעה קבצים, ביניהם all.csv שמרכז את כלל הנתונים וקובץ נוסף בשם multimedqa140_subset.csv שמכיל תת-קבוצה ספציפית שנבדקה במחקר. אין כאן חלוקה מובנית לסט אימון ומבחן רשמיים, אלא פשוט ריכוז של השאלות שנשלפו בחיפוש.
מתאים ל
- הערכת מודלים רפואיים
בדיקה איך מודל שפה מתמודד עם שאלות בריאותיות פתוחות ומנוסחות בצורה עממית.
- בניית מערכי בחינה אנושיים
העברת השאלות לרופאים כדי שידרגו את איכות ובטיחות התשובות שמודלים מפיקים.
- סיווג כוונות משתמש
זיהוי תסמינים ודאגות רפואיות מתוך שאילתות חיפוש אותנטיות של משתמשי קצה.
איפה זה נופל
אין כאן תשובות, עובדות רפואיות מאומתות או ציוני ייחוס, אלא רק שאלות של משתמשים. הכל באנגלית בלבד ומשקף שאלות שנשלפו ממנוע חיפוש, מה שאומר שיש הטיה לכיוון ניסוחים פופולריים שמשתמשים מקלידים כשהם בלחץ או מול השלמה אוטומטית. אם אתם בונים מוצר בעברית או מחפשים חומר להדרכת מודל שמצריך תשובה מוסמכת לבדיקה אוטומטית, תצטרכו להביא מקור מידע חיצוני או אנשי מקצוע שיעריכו את הפלטים.
שאלות
נפוצות
האם המאגר כולל תשובות נכונות לשאלות?
לא, המאגר מוגדר כ־Question only ומכיל רק את השאלות שנאספו. כדי להעריך ביצועים תצטרכו להפעיל מודל שייצר תשובות בטקסט חופשי ולבדוק אותן בעצמכם או בעזרת רופאים.
האם יש במאגר שאלות בעברית?
לא, כל השאלות נאספו באנגלית בלבד. אם המוצר שלכם מיועד לשוק הישראלי, תצטרכו לתרגם את השאלות או לייצר בנצ'מרק מקומי שמותאם לשפה ולמערכת הבריאות בישראל.
מותר להשתמש בזה לפרויקט מסחרי?
הרישיון של המאגר ב־Hugging Face מסומן כלא ידוע. במאמר של גוגל הוא מוצג כבנצ'מרק פתוח לקהילה, אבל בלי רישיון קוד פתוח מוגדר וברור יש סיכון משפטי בשימוש מסחרי ישיר.
כמה שורות יש במאגר ואיך הוא מגיע?
יש בו בדיוק 3,173 שאלות. הנתונים שמורים בקובצי CSV פשוטים, כולל קובץ עם כלל הרשומות וקובץ של תת-הקבוצה multimedqa140 שנבדקה במחקר המקורי.
איך טוענים
טוענים את הנתונים ישירות מ־Hugging Face בעזרת ספריית datasets או על ידי הורדה ידנית של קובצי ה־CSV, כמו all.csv. המאגר פתוח להורדה מיידית בלי צורך בטופסי בקשה או אישור גישה מיוחד. מדובר בסך הכל בכמה אלפי שורות טקסט, כך שהקובץ שוקל מעט מאוד ונכנס לזיכרון בלי שום מאמץ חישובי. המבנה פשוט ומכיל שאלות בטקסט חופשי, כך שלא צריך להסתבך עם פענוח שדות מורכבים.
from datasets import load_dataset
ds = load_dataset("katielink/healthsearchqa")הרישיון
הרישיון המדווח במאגר הוא unknown. למרות שהנתונים פורסמו כבנצ'מרק פתוח במחקר של גוגל, המעלה לא הגדיר רישיון שימוש רשמי כמו MIT או Apache. מבחינה משפטית זה משאיר את השימוש המסחרי בסימן שאלה, ומומלץ לבדוק את תנאי המאמר המקורי לפני שמשלבים את המידע באימון מודל שמיועד למכירה.