Caduceus-Dataset
קוד פתוחKquant03cc-by-4.02024-08-06
מאגר ממוקד של פרוטוקולים מדעיים ורפואיים שהומרו ממסמכי מקור לטקסט מעוצב. הוא נבנה כדי לאמן מודלים לקרוא מסמכים מורכבים בעזרת ראייה ממוחשבת או עיבוד טקסט ישיר.
- 764הורדות בחודש
- 23לייקים
מה זה
המאגר כולל פרוטוקולים ממעבדות בתחומי הביולוגיה והרפואה, שנלקחו מתוך המאגר הציבורי של protocols.io. היוצר מציין שהקבצים עברו בחירה קפדנית ובדיקה ידנית כדי לוודא איכות גבוהה של ההמרה, במיוחד במבנה המדעי של ההוראות והשלבים.
המבנה במאגר מורכב משלושה חלקים מרכזיים. תיקייה של מסמכי המקור בפורמט PDF, תיקייה של תוצרי ההמרה בפורמט Markdown, וקובץ מאוחד בפורמט JSONL שמרכז את כל הנתונים לעבודה נוחה. בקובץ המאוחד כל רשומה כוללת את שם הקובץ, טקסט גולמי שנשלף מהמסמך, הפלט המעוצב בפורמט Markdown, וייצוג מלא של ה־PDF כמחרוזת בקידוד Base64 לצורך משימות חזותיות.
מתאים ל
- אימון מודלי מסמכים
כוונון מודלי שפה וראייה להמרת מסמכי PDF מורכבים לטקסט Markdown נקי.
- הערכת ביצועי OCR
בדיקת איכות חילוץ נתונים מטקסט מדעי מול תוצאות שעברו בדיקה ידנית.
- הבנת פרוטוקולים רפואיים
אימון מודלים ממוקדים לניתוח שלבי עבודה בניסויים ומחקרי מעבדה.
איפה זה נופל
הנתונים מוגבלים לתחום הצר של ניסויים ומעבדות רפואיות, כך שהם לא מתאימים למסמכים משפטיים או פיננסיים. כל הטקסטים הם באנגלית בלבד ואין במאגר עברית בכלל. בנוסף, מדובר במאגר קטן יחסית של מאות בודדות של מסמכים, מה שמספיק לכוונון עדין או להערכה, אבל בשום אופן לא לאימון מלא של מודל ראייה מורכב מאפס.
שאלות
נפוצות
האם מותר להשתמש במאגר לפרויקט מסחרי בחברה?
כן. רישיון cc-by-4.0 מאפשר שימוש מסחרי מלא, כולל אימון מודלים שנמכרים כמוצר. כל מה שאתם חייבים לעשות זה לציין את הקרדיט ליוצר.
האם יש במאגר נתונים בעברית?
לא. כל הפרוטוקולים נאספו ממאגרים מדעיים בינלאומיים והם כתובים באנגלית בלבד. אם המטרה היא מסמכים בעברית, המאגר הזה לא רלוונטי עבורכם.
איך המידע נאסף ועובד?
הפרוטוקולים נלקחו מתוך המאגר של protocols.io והומרו מפורמט PDF לפורמט Markdown. לפי היוצר, תהליך העיבוד כלל סינון ידני כדי להבטיח את איכות הטקסט והמבנה.
באיזה אופן כדאי לגשת לנתוני התמונה?
במקום להוריד ולנהל אלפי קבצים נפרדים, קובץ ה־JSONL מכיל שדה עם ה־PDF בקידוד Base64. אתם יכולים לפענח אותו ישירות בזיכרון בקוד שלכם ולהמיר אותו לתמונות דפים עבור מודלי ראייה.
איך טוענים
טוענים את הנתונים ישירות דרך ספריית datasets או בקריאה פשוטה של הקובץ Caduceus_Data.jsonl. אין צורך לבקש אישור גישה מוקדם, המאגר פתוח להורדה. השדות השימושיים ביותר הם הטקסט הגולמי מול ה־Markdown המעוצב, או מחרוזת ה־Base64 אם אתם מתכננים לפענח אותה לתמונה עבור מודלי ראייה.
from datasets import load_dataset
ds = load_dataset("Kquant03/Caduceus-Dataset")הרישיון
המאגר פורסם ברישיון cc-by-4.0. המשמעות היא שמותר להשתמש בו לכל מטרה, כולל מוצרים מסחריים ואימון מודלים פנימיים או פתוחים. הדרישה היחידה היא לתת קרדיט נאות ליוצר. אין חובה לשתף את המודל או את הנגזרות באותו הרישיון.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס