ApolloCorpus
קוד פתוחFreedomIntelligenceapache-2.02024-03-06
מאגר נתונים רפואי רב לשוני שכולל טקסטים לאימון מקדים ודאטה להוראות. הוא מיועד למי שבונה מודלים רפואיים ורוצה לחרוג מעבר לאנגלית בלבד.
- 843הורדות בחודש
- 41לייקים
מה זה
המאגר מחולק לשני מקטעים עיקריים, נתונים לאימון מקדים ונתונים לכוונון עדין של הוראות. בחלק של האימון המקדים הרשומות מגיעות מספרי רפואה, הנחיות קליניות, מאמרים אקדמיים, ויקיפדיה רפואית ותוכן מפורומים מקוונים. בנוסף, החלק הזה מכיל שאלות ותשובות שנוצרו אוטומטית מתוך הטקסטים הרפואיים. המבנה שלו מורכב מרשימות של מחרוזות טקסט ישירות או מזוגות של שאלות ותשובות שמסודרים ברצף.
החלק של הכוונון העדין כולל שאלות ותשובות מורכבות יותר. הוא מכסה תחומים ממוקדים כמו מבחני רפואה, פניות של מטופלים, ובנוסף דאטה כללי בנושאי קוד, מתמטיקה ותוכן כללי. השפות שמכוסות ברישום המקורי כוללות אנגלית, סינית, ספרדית, צרפתית, הינדית וערבית, אם כי המבנה הטכני בקבצים מפרט בעיקר חמש שפות.
מתאים ל
- אימון מקדים למודל רפואי
שימוש במאמרים, ספרים והנחיות קליניות בחמש שפות כדי ללמד מודל בסיס שפה וטרמינולוגיה רפואית.
- כוונון מודל שיחה רפואי
אימון הוראות באמצעות זוגות שאלות ותשובות של מטופלים ומבחנים ברפואה בשפות שונות.
- הערכת ביצועים רב לשונית
בדיקת יכולת המודל לענות על שאלות בחינה רפואיות באנגלית, צרפתית וספרדית עם הסקריפטים המצורפים.
איפה זה נופל
עברית לא קיימת כאן בכלל, כך שלאימון מקומי הוא לא יעזור בלי תרגום או התאמות חיצוניות. חלק מהנתונים מבוסס על שאלות ותשובות שנוצרו באופן סינתטי מתוך טקסטים, מה שעלול להכניס אי דיוקים רפואיים. בנוסף, המידע מפורומים באינטרנט כולל מטבעו רעש והטיות שדורשים סינון קפדני לפני שמשלבים אותו במערכת אמיתית.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט הזה למוצר מסחרי?
כן, הרישיון המדווח הוא אפאצ'י שתיים אפס שמתיר שימוש מסחרי מלא. אתם יכולים לאמן עליו מודלים ולשלב אותם באפליקציות מסחריות, כל עוד אתם מצרפים את תנאי הרישיון המקוריים ואת הקרדיט הנדרש.
האם יש במאגר נתונים בעברית?
לא, אין במאגר עברית בכלל. השפות הנתמכות הן אנגלית, סינית, ספרדית, צרפתית, הינדית וערבית. אם אתם מכוונים למשתמשים בישראל תצטרכו לתרגם את החומר או להביא מקורות מקומיים.
איך המידע בדאטהסט נאסף לפי המפתחים?
החוקרים אספו חומרים ממגוון מקורות רפואיים שכוללים ספרים מקצועיים, מאמרי מחקר, הנחיות קליניות, ויקיפדיה ופורומים מקוונים. בנוסף לחומרים הגולמיים, חלק מהשאלות והתשובות הופקו בצורה סינתטית ישירות מתוך הטקסטים הללו.
באיזה פורמט הקבצים מגיעים ואיך עובדים איתם?
המאגר מגיע כקובץ זיפ שמכיל 72 קבצים, בעיקר קובצי ג'ייסון וסקריפטים בפייתון. המבנה בתוך הקבצים פשוט מאוד ומכיל רשימות של מחרוזות טקסט ישירות או מערכים של זוגות שאלה ותשובה.
איך טוענים
הנתונים ארוזים בקובץ מכווץ בפורמט זיפ שמכיל עשרות קובצי ג'ייסון, בלי צורך באישור גישה מיוחד. בתוך המאגר יש גם סקריפטים לבדיקת בחינות בשפות שונות. שמות הקבצים בנויים לפי שילוב של מקור המידע, קוד השפה וסוג התוכן. כדי לטעון אותם, פותחים את הארכיון וקוראים את הג'ייסונים ישירות דרך פייתון, כאשר בכל קובץ תמצאו רשימות טקסט או מערכים מקוננים של זוגות שאלה ותשובה.
from datasets import load_dataset
ds = load_dataset("FreedomIntelligence/ApolloCorpus")הרישיון
המאגר מופץ תחת רישיון אפאצ'י שתיים אפס. מותר להשתמש בו לצרכים מסחריים ומחקריים, לשנות אותו ולהפיץ נגזרות, כולל מודלים שאומנו עליו. התנאי המרכזי הוא שמירה על הודעת זכויות היוצרים והרישיון המקורי בקבצים.
- שימוש מסחרי
- שינוי הקוד
- הפצה מחדש
- שימוש בפטנטים