vi_pubmed
קוד פתוחVietAIcc2022-11-06
מאגר ענק של 20 מיליון תקצירי מחקרים רפואיים באנגלית עם תרגום מכונה לוייטנאמית. מי שמאמן מודל שפה לתחום הביו-רפואי עבור וייטנאמית ימצא כאן בסיס רחב מאוד לאימון מקדים.
- 1,049הורדות בחודש
- 26לייקים
מה זה
המאגר מרכז 20 מיליון תקצירים מדעיים שמקורם במיזם פאבמד של הספרייה הלאומית לרפואה בארצות הברית. כל רשומה כוללת את הטקסט המקורי באנגלית לצד תרגום סינתטי לוייטנאמית, שהופק באמצעות מודל תרגום מפרויקט MTet שפותח על ידי VietAI. מטרת האיסוף הייתה להעשיר את הידע הביו-רפואי בשפה שמוגדרת כדלת-משאבים, ולשמש קורפוס לא מתויג לצורך אימון מודלי שפה מסוג טרנספורמר.
הכרטיס במאגר דל מאוד בפרטים טכניים ולא מפרט את מבנה העמודות המדויק, תהליכי הניקוי, הסינון או חלוקה מוגדרת לפיצולי אימון ובדיקה. מהקבצים בשטח רואים שהמידע נשמר בפורמט פארקט ומחולק על פני תשעים קבצי מידע עוקבים שנבנו מתוך גרסת פאבמד 2022.
מתאים ל
- אימון מקדים לוייטנאמית
הרחבת אוצר המילים וההבנה של מודלי שפה בטקסטים רפואיים בוייטנאמית על בסיס טקסט לא מתויג.
- אימון מודלי תרגום רפואי
שימוש בזוגות התקצירים באנגלית ובוייטנאמית כבסיס גולמי למערכות תרגום ייעודיות לעולם הרפואה.
- מילוי מסכות ביו-רפואי
התאמת מודלים מבוססי ארכיטקטורת ברט לזיהוי והשלמת מונחים רפואיים חסרים בתוך משפטים.
איפה זה נופל
כל הטקסט הוייטנאמי הוא פלט סינתטי של מודל תרגום מכונה ולא עבר עריכה אנושית מקצועית. שגיאות תרגום, הזיות טרמינולוגיות ועיוותים של עובדות רפואיות קיימים בפנים בוודאות גבוהה. אין כאן מילה אחת בעברית, ומי שמחפש מידע על פיצול או בדיקות איכות לא ימצא שום תיעוד בכרטיס המאגר המקורי. חובה לבצע בדיקות מדגמיות קפדניות לפני שמזינים את החומר למודל שמיועד להחלטות רגישות.
שאלות
נפוצות
האם יש במאגר טקסטים בעברית?
לא. המאגר מכיל אך ורק תקצירים באנגלית והתרגום הסינתטי שלהם לוייטנאמית. אין בו נתונים בעברית כלל.
איך נאספו התקצירים הוייטנאמיים?
הטקסטים המקוריים נלקחו מהמאגר הציבורי של פאבמד באנגלית, ותורגמו לוייטנאמית באופן אוטומטי לחלוטין באמצעות פרויקט התרגום של VietAI. אין כאן תרגום שנכתב בידי רופאים או מתרגמים אנושיים.
האם מותר להשתמש במאגר למוצר מסחרי?
הרישיון מוגדר באופן כללי כרישיון קריאייטיב קומונס לצד הפניה לתנאי הספרייה הלאומית לרפואה של ארצות הברית. כיוון שהסוג הספציפי אינו מוגדר בכרטיס, חובה לעיין ישירות בתנאי השימוש של פאבמד כדי לוודא שאין הגבלות מסחריות על הפצה ושימוש.
באיזה פורמט המידע מגיע?
הנתונים מחולקים לתשעים קבצי פארקט שונים, ללא חלוקה מובנית מראש לחלקי אימון, אימות או מבחן. העבודה איתם דורשת טעינה וסינון עצמאי של הקבצים.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית הדאטהסטס מבית האגינג פייס בעזרת המזהה של המאגר. אין צורך לבקש אישור גישה מיוחד, המאגר פתוח להורדה מיידית. הקבצים מגיעים בתשעים חלקי פארקט נפרדים שדורשים רוחב פס רציני ונפח אחסון מקומי כדי לפרוק ולעבד אותם ביעילות.
from datasets import load_dataset
ds = load_dataset("VietAI/vi_pubmed")הרישיון
הרישיון הרשמי בעמוד מסומן פשוט בתור סי-סי, והיוצרים מציינים שהנתונים נלקחו תחת תנאי השימוש של הספרייה הלאומית לרפואה בארצות הברית. בגלל שהמקור מדבר על תנאי השימוש של פאבמד וההגדרה לא מפרטת את גרסת הרישיון המדויקת, יש לבדוק היטב את תנאי המקור של הספרייה לפני שימוש בפרויקט מסחרי.