OpenMaterial
קוד פתוחEPFL-CVLabcc-by-nc-4.02024-06-06
מאגר נתונים סינתטי למחצה לשחזור תלת ממד ומבט חדש, שמתמקד בחומרים מורכבים עם מדידות מעבדה אמיתיות. הוא נותן שליטה בניסויי תאורה, חומר וגיאומטריה כשאלגוריתמים רגילים נכשלים בהשתקפויות.
- 1,091הורדות בחודש
- 16לייקים
מה זה
המאגר מציג 1001 סצנות ייחודיות שמבוססות על 1001 צורות גיאומטריות שונות, 295 סוגי חומרים ו־723 תנאי תאורה. כל חומר רונדר פיזיקלית עם פונקציית פיזור מותאמת ומדדי שבירת אור שנמדדו במעבדה. בכל סצנה יש 90 תמונות ברזולוציה של 1600 על 1200, מתוכן 50 מיועדות לאימון ו־40 לבדיקה, לצד מסיכות אובייקט, מפות עומק, מודלים וזוויות מצלמה בפורמט קולמאפ.
בנוסף לחלק הראשי קיים סט אבלציה של 105 סצנות מבוקרות שנועד לבודד משתנים. הסט הזה משלב חמישה אובייקטים קבועים כמו שבלול, פסל או סירה, שלושה תרחישי תאורה, ושבעה סוגי חומרים שנעים בין מוליכים, חומרים דיאלקטריים, פלסטיק ומשטחים מחוספסים או מפזרים.
מתאים ל
- אימון מודלי גאוסיאן ספלאטינג
למידת שחזור תלת ממדי של חומרים בעלי השתקפויות קשות ומוליכות גבוהה.
- הערכת עמידות לתאורה
בדיקת אלגוריתמים על סט האבלציה כדי לראות איך תאורת יום או לילה פוגעת בדיוק.
- סינתזת נקודות מבט חדשות
מבחן ביצועים לרנדור זוויות חדשות של אובייקטים דיאלקטריים שקופים ומורכבים.
איפה זה נופל
הנתונים סינתטיים למחצה ומבוססים על רינדור ממוחשב, כך שהם לא מייצגים רעשי חיישן אמיתיים או לכלוך טבעי בעולם הפיזי. בנוסף, חלוקת האבלציה מוגבלת לחמישה אובייקטים ספציפיים ושלושה מצבי תאורה בלבד. לפני שמשלבים מודל במוצר, צריך לזכור שהביצועים עלולים לצנוח במפגש עם תאורה חריגה שלא נכללה ברינדור, או עם חומרים שאינם מכוסים ב־295 הספקטרומים שנמדדו.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
לא. הרישיון הוא לשימוש לא מסחרי בלבד. אי אפשר לאמן עליו מודל שיוטמע באפליקציה בתשלום או במוצר סגור של חברה.
איך הנתונים הופקו והאם הם אמיתיים?
מדובר בדאטהסט סינתטי למחצה. התמונות נוצרו ברינדור פיזיקלי ממוחשב של 1001 אובייקטים ו־723 מצבי תאורה, אך מקדמי שבירת האור נמדדו ישירות במעבדה עבור 295 חומרים.
מה מבדיל אותו ממאגרים רגילים של תמונות תלת ממד?
הוא מתמקד בפיזיקה של חומרים קשים לעיבוד כמו פלסטיק מבריק, מתכות ומוליכים. בנוסף, חלוקת הנתונים לארכיונים מאפשרת לבודד במדויק השפעה של חומר מסוים או להוריד רק סוגי משטחים ספציפיים.
איך טוענים
הקבצים מחולקים ל־51 ארכיוני טאר לפי סוגי חומרים כמו מוליכים או סטי אבלציה, כך שאפשר להוריד רק תת קבוצה רלוונטית ולא את כל הנפח. המידע שמור במבנה תיקיות לפי שם האובייקט, התאורה והחומר, לצד קובצי ג'ייסון של טרנספורמציות לאימון ובדיקה. אין צורך לבקש אישור גישה מיוחד, אך כדאי להשתמש בסקריפטי ההורדה והבדיקה שהחוקרים פרסמו כדי למנוע מקרים של קבצים חסרים שנרשמו בעבר.
from datasets import load_dataset
ds = load_dataset("EPFL-CVLab/OpenMaterial")הרישיון
הרישיון הוא סי סי בי אן סי 4.0. המשמעות ברורה וחדה: מותר להשתמש במידע, לשנות אותו ולבנות עליו לצורכי מחקר וניסויים בלבד, אך חל איסור מוחלט על שימוש מסחרי מכל סוג. חובה לתת קרדיט ליוצרים המקוריים, ומודל שאומן על הנתונים האלה לא יוכל להיכנס למוצר מסחרי סגור.
- שינוי הקוד
- חובת ייחוס
- שימוש מסחרי: לא