OpenIllumination
קוד פתוחOpenIlluminationcc-by-4.02023-06-13
מאגר של 64 חפצים שצולמו מ־70 זוויות תחת תאורות מבוקרות שונות. הוא מיועד למי שבונה ומעריך מודלים לשחזור תלת ממדי, פירוק חומרים ורינדור מחדש בעולם האמיתי.
- 3,581הורדות בחודש
- 15לייקים
מה זה
המאגר מציג צילומים של 64 חפצים פיזיים מחומרים מגוונים. כל חפץ צולם במערך דמוי Light Stage מ־70 זוויות שונות, המורכבות מ־48 מצלמות DSLR ועוד 22 מצלמות מהירות. הצילום התבצע תחת שני סוגי תאורה עיקריים: 13 דפוסי תאורה שונים, ו־142 מצבי תאורה מסוג מקור אור בודד בכל פעם. סך הכל מדובר בעשרות אלפי קבצים הכוללים תמונות גולמיות, זוויות מצלמה ומסכות.
הנתונים מחולקים למבטי אימון ומבטי בדיקה מוגדרים מראש. עבור 13 דפוסי התאורה, החלוקה היא 38 מבטים לאימון ו־10 לבדיקה. עבור תאורת מקור אור בודד, המאגר מקצה 17 מבטים לאימון ו־5 לבדיקה. המסכות סגמנטציה נוצרו באמצעות מודל SAM עם מספר תיחומים לכל חלק בחפץ, ועבור מבנים דקים או מורכבים כמו שיער נעשה שימוש בשיטות background matting ייעודיות.
מתאים ל
- סינתזת מבטים חדשים
הערכת ביצועים של מודלים כמו NeRF או TensoRF על זוויות צילום שלא נראו באימון תחת תאורה קבועה.
- פירוק תאורה וחומרים
אימון ובחינה של אלגוריתמי רינדור הפוך להפרדה בין הגאומטריה של החפץ, החזרי האור ותנאי הסביבה.
- הערכת שחזור תלת ממד
בדיקת דיוק גאומטרי ומבני על חפצים אמיתיים בעזרת מסכות החפץ המצורפות ומטריצות המצלמה.
איפה זה נופל
החיסרון המרכזי הוא ההיקף המצומצם של האובייקטים עצמם, 64 חפצים בלבד שצולמו בסביבת מעבדה סטטית ומבוקרת. זה לא מאגר שמשקף סצנות טבעיות, צילומי חוץ או תנועה חופשית. המפתחים מודים שסגמנטציה אוטומטית התקשתה מאוד בגלל קטגוריות חפצים לא מוגדרות, מה שחייב עבודה ידנית למחצה כדי לאחד מסכות. מי שבונה מוצר לעולם האמיתי יקבל פה נתוני בדיקה מעולים לאלגוריתמיקה ולפירוק תאורה, אבל המודל לא ילמד להתמודד עם רעש, חסימות מורכבות או רקעים מגוונים ללא דאטה נוסף.
שאלות
נפוצות
האם מותר להשתמש במאגר לפיתוח מוצר מסחרי?
כן, הרישיון הוא CC BY 4.0 שמתיר שימוש מסחרי מלא. הדרישה היחידה היא לתת קרדיט נאות ליוצרי המאגר במפרט המוצר או בתיעוד. אין חובה לשתף את הקוד או את המודל המאומן שלכם באותו רישיון.
כמה קבצים המאגר כולל ואיך מורידים אותו?
המאגר מכיל 77,352 קבצים, כולל תמונות גולמיות, קובצי טקסט של פרמטרים ומסכות. בגלל המשקל הרב, היוצרים מספקים סקריפט ייעודי המאפשר להוריד רק חפצים ספציפיים או סוגי תאורה מסוימים במקום את כל החבילה בבת אחת. מומלץ לוודא שיש מספיק שטח אחסון לפני שמתחילים במשיכה רחבה.
האם המאגר רלוונטי לעיבוד שפה או לעברית?
לא, המאגר מיועד כולו לראייה ממוחשבת ולגרפיקה תלת ממדית. שפת המטא-דאטה והתיעוד מוגדרת כאנגלית בלבד, ואין בו שום תוכן טקסטואלי רלוונטי לעברית. כל הנתונים הם תמונות, זוויות מצלמה ומסכות בינאריות של עצמים.
איך אספו את המידע בדאטהסט הזה?
המידע נאסף במעבדה ייעודית באמצעות מתקן Light Stage המוקף במצלמות ובמקורות אור נשלטים. הם הציבו 64 חפצים פיזיים על משטח מרכזי וצילמו כל אחד מ־70 זוויות קבועות. הצילומים בוצעו תחת 13 דפוסי תאורה שונים ו־142 מצבים שבהם דלק מקור אור יחיד בכל פעם.
איך טוענים
בגלל הגודל ומספר הקבצים שמגיע ל־77,352, לא מורידים את כל המאגר בבת אחת בקריאה פשוטה. המפתחים מספקים סקריפט פייתון שמאפשר להוריד נתונים באופן ממוקד לפי מזהה החפץ וסוג התאורה הרצוי. אין צורך בבקשת גישה מיוחדת, המאגר פתוח לחלוטין.
המטא-דאטה מגיע עם שדות הכוללים נתיב קובץ, אינדקס תאורה, מטריצת מיקום מצלמה לפי מוסכמות OpenCV, שדה זווית מצלמה לחישוב מאפיינים פנימיים, ומסכות חפץ. שימו לב שמסכות האובייקט שמורות בערכי אפס ואחת ולא תמיד נראות טוב כקובץ תמונה רגיל ללא המרה בקוד.
from datasets import load_dataset
ds = load_dataset("OpenIllumination/OpenIllumination")הרישיון
המאגר מופץ תחת רישיון CC BY 4.0 שמתיר שימוש חופשי לחלוטין, כולל שימוש מסחרי ושינוי הנתונים. התנאי היחיד הוא מתן קרדיט מתאים ליוצרים ולמאמר המקורי. מודלים שמאומנים על הדאטהסט אינם כפופים לחובת שיתוף זהה, כך שניתן לשלב את המשקולות במוצרים מסחריים סגורים.
- שימוש מסחרי
- שינוי הקוד
- חובת ייחוס