Kvasir-VQA-x1

מה זה

המאגר כולל 159,549 זוגות של שאלות ותשובות שמבוססים על תמונות מתוך פרויקט Kvasir-VQA המקורי. השאלות נבנו על ידי מיזוג שאלות אטומיות לשאלות מורכבות יותר בשפה טבעית, והתשובות עברו תיקוף קליני. כל רשומה כוללת מזהה תמונה, רמת מורכבות שמדורגת בין 1 ל־3, את השאלה המורכבת, התשובה המאומתת, רשימת השאלות הבסיסיות שמוזגו לתוכה וסיווג לקטגוריה קלינית מתאימה.

הנתונים מחולקים מראש לשני חלקים בלבד, אימון ומבחן. החלוקה בוצעה ברמת התמונות כדי למנוע זליגת מידע, כך ששום תמונה או צמד שאלה ותשובה מסט המבחן לא מופיעים בסט האימון. בנוסף לטקסט, המאגר תומך בבדיקות חוסן ויזואלי מול שיבושים בתמונות באמצעות כלי אוגמנטציה ייעודיים שהחוקרים פרסמו לצדו.

מתאים ל

• אימון מודלי VLM רפואיים

  כוונון עדין של מודלי ראייה ושפה להבנת ממצאים באנדוסקופיה.

• בדיקת חוסן ויזואלי

  הערכת עמידות של מודלים מול שיבושים והפרעות בתמונות רפואיות.

• מדידת הסקה קלינית

  בחינת יכולת המודל לענות על שאלות מורכבות ברמות קושי שונות.

איפה זה נופל

כל הטקסט במאגר מופיע באנגלית בלבד, כך שאין כאן תמיכה בעברית או במונחים רפואיים מקומיים. המאגר מוגבל אך ורק לצילומי אנדוסקופיה של מערכת העיכול ולא מייצג בדיקות דימות אחרות. בנוסף, מי שבונה מוצר צריך לקחת בחשבון שהמורכבות מסתמכת על מיזוג שאלות בסיסיות, ויש לבחון היטב את איכות התשובות והתאמתן לשימוש מעשי מחוץ לתנאי מחקר.

איך טוענים

הנתונים הטבלאיים שמורים בקובצי parquet עבור האימון והבחינה, לצד תיקיית תמונות בפורמט jpg. הגישה למאגר פתוחה לגמרי ללא צורך בהרשמה מוקדמת או אישור מיוחד. כדי להריץ אימון של מודלי ראייה ושפה, יש צורך לקשר בין קובץ הנתונים לתמונות לפי שדה img_id, או להשתמש בסקריפטים שהחוקרים שיתפו בגיטהאב ליצירת קובצי JSONL מתאימים.

from datasets import load_dataset

ds = load_dataset("SimulaMet/Kvasir-VQA-x1")

הרישיון

המאגר מופץ תחת רישיון cc-by-nc-4.0. המשמעות ברורה וחד משמעית, השימוש מותר למטרות מחקר ואקדמיה בלבד, וחל איסור מוחלט על שימוש מסחרי מכל סוג. חובה לתת ייחוס הולם ליוצרים, ואסור לשלב אותו במודלים או שירותים שמיועדים להפצה עסקית.

• שינוי הקוד
• חובת ייחוס
• שימוש מסחרי: לא

הרישיון המלא ב־Hugging Face ↗