EEG_Image_decode
קוד פתוחLidongYangcc-by-4.02024-09-21
המאגר מרכז אותות EEG ו־MEG יחד עם ייצוגי תמונה וקודים לטנטיים, שנועדו לפענוח ושחזור תמונות ישירות מפעילות מוחית. הוא חוסך שבועות של עיבוד אותות מורכב ומסנכרן בין הנתונים הביולוגיים למודלי ראייה.
- 2,590הורדות בחודש
- 16לייקים
מה זה
הנתונים מבוססים על ניסויים שבהם עשרה נסיינים צפו באלפי תמונות מתוך מאגר THINGS. באימון ה־EEG יש 16,540 תמונות המכסות 1,654 מושגים, כאשר כל תמונה הוצגה 4 פעמים לכל נבדק. במבחן יש 200 תמונות ייחודיות שהוצגו 80 פעמים לכל נבדק כדי להגדיל את יחס האות לרעש. בנוסף נכללו הקלטות MEG מאותו מאגר תמונות עם חלוקה של 19,848 תמונות אימון ו־200 תמונות מבחן.
האותות המקוריים נדגמו ב־1,000 הרץ, עברו סינון ודגימה מחדש ל־250 הרץ, תיקון קו בסיס, וחיתוך למקטעים. לצד האותות הגולמיים המאגר מכיל מאפייני תמונה חלוצים ממודל CLIP ViT-H-14, ייצוגים לטנטיים שהופקו מ־SDXL-VAE ברזולוציה של 512 על 512, ושיקועי EEG שעובדו מראש באמצעות מקודד ATMS.
מתאים ל
- שחזור תמונה מאותות מוח
אימון מודלי דיפוזיה לייצור תמונות ישירות מדפוסי פעילות מוחית שנמדדו ב־EEG.
- אחזור תמונות בגישת Zero-Shot
התאמת שיקועי מוח למרחב הוקטורי של CLIP לצורך זיהוי הקונספט שהנבדק ראה.
- מחקר השוואתי בין EEG ל־MEG
בחינת ההבדלים ברזולוציה ובדיוק הפענוח בין שתי טכנולוגיות המדידה על אותו סט גירויים.
איפה זה נופל
ההקלטות מגיעות מעשרה נבדקים בלבד, מה שמקשה מאוד על הכללה לאוכלוסייה רחבה או לשימוש קליני מעשי. שמות המושגים והתיוג קיימים באנגלית בלבד. האותות נאספו בסביבת מעבדה מבוקרת עם צפייה פסיבית, כך שכל תנועה, מצמוץ או רעש חיצוני במוצר אמיתי ישבשו את הפענוח לחלוטין. מעבר לכך, התמונות ממאגר THINGS נלקחו במקור למחקר אקדמי בלבד.
שאלות
נפוצות
האם מותר להשתמש בדאטהסט לפיתוח מוצר מסחרי?
החבילה עצמה מופצת תחת CC-BY-4.0 ומתירה שימוש מסחרי עם מתן קרדיט. הבעיה היא שתמונות הבסיס ממאגר THINGS מוגבלות למחקר לא מסחרי, מה שמונע שימוש מסחרי נקי בלי להחליף או להסדיר את רכיב התמונות.
כמה מקום בדיסק צריך בשביל לעבוד איתו?
המאגר כולל עשרות קבצים גדולים. ארכיון התמונות המשוחזרות לבדו שוקל 8.13 גיגה בייט, ובנוסף קיימים קובצי ה־EEG, ה־MEG, מאפייני ה־ViT והקודים הלטנטיים, כך שמומלץ לפנות לפחות 30 עד 40 גיגה בייט להורדה ולחילוץ.
האם יש במאגר תמיכה בעברית?
לא. התוויות והמושגים של תמונות הניסוי מבוססים על מאגר THINGS שמוגדר באנגלית בלבד. אין כאן רכיב טקסטואלי מקומי או התאמה לשפה אחרת.
איך האותות נאספו בפועל?
עשרה נסיינים ישבו מול מסך וצפו בתמונות עצמים. אותות ה־EEG נדגמו ב־1,000 הרץ מ־63 ערוצים, ולאחר מכן החוקרים חתכו את המקטעים וביצעו דגימה מחדש ל־250 הרץ.
איך טוענים
אין צורך באישור גישה מיוחד כדי להוריד את הקבצים. אותות ה־EEG מאורגנים בתיקיות לפי נבדקים בקובצי npy בגודל של 63 ערוצים על 250 נקודות זמן, וטוענים אותם ישירות באמצעות numpy. מאפייני ה־CLIP, קודי ה־VAE והשיקועים שמורים בקובצי pt של PyTorch. התמונות המקוריות והשחזורים ארוזים בקובצי tar.gz כבדים, כשרק קובץ התמונות המשוחזרות שוקל 8.13 גיגה בייט.
from datasets import load_dataset
ds = load_dataset("LidongYang/EEG_Image_decode")הרישיון
המאגר מוגדר תחת רישיון CC-BY-4.0, שמתיר שימוש, שינוי והפצה כולל למטרות מסחריות, כל עוד נותנים קרדיט מלא ליוצרים ומציינים אילו שינויים נעשו. עם זאת, התמונות המקוריות של THINGS כפופות לתנאים נפרדים שמגבילים אותן למחקר אקדמי שאינו מסחרי, כך ששימוש מסחרי במודל שנסמך עליהן מייצר סיכון משפטי ברור.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס