Photometric Stereo via Inter-Reflection Modeling with Occlusion using Neural Inverse Rendering
- 주제어 (키워드) Computer vision , Deep learning , Photometric stereo
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000076655
- UCI I804:11029-000000076655
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
Uncalibrated photometric stereo (UPS) aims to estimate surface normals from images taken under unknown lighting conditions, a significant challenge in computer vision. The complexity arises from the wide range of possible lighting conditions, each affecting surface perception differently. Traditional methods often overlook these intricate variations in light interaction. This is particularly true for those caused by inter-reflections, leading to neglected secondary reflections in areas such as concave regions or between closely situated objects. Such oversights can introduce errors and instability during the optimization process, adversely affecting the recovered surface normals and reflectance properties. In response, we introduce Photometric Stereo network via Inter-Reflection modeling with Occlusion using Neural inverse rendering (IRON-PS), a self-supervised framework that leverages neural inverse rendering to efficiently address data-driven cost challenges in UPS. Our methodology carefully refines inter-reflection modeling and incorporates occlusions to improve depth and surface orientation estimations. Our IRON-PS has been evaluated on a diverse array of datasets, including real-world and synthetic data, and it demonstrates enhanced accuracy and robustness compared to existing methods, advancing UPS solutions towards greater reliability and stability.
more초록
Uncalibrated photometric stereo (UPS)는 미지의 조명 조건 하에서 촬영된 이미지로부터 표면 법선 데이터를 추정하는 것을 목표로 하며, 컴퓨터 비전 분야에서 중요한 도전 과제 중 하나이다. Photometric stereo의 복잡성은다양한 조명 조건에 기인하며, 각각의 조명 조건이 표면 인식에 영향을 미친다. 전통적인 방법은 빛 상호작용의 복잡한변화를 간과하며, 상호 반사에 의한 변화를 무시한다. 이로 인해 표면의 볼록한 영역이나 서로 가깝게 위치한 물체 사이에서 반사광을 무시하는 경우가 발생한다. 이로부터 최적화 과정 중에 오류와 불안정성이 발생하며, 추출된 표면 법선에 부정적인 영향을 미친다. 이러한 한계점를 극복하기 위해 우리는 새로운 프레임워크인 IRON-PS를 소개한다. 우리의 방법론은 빛 상호 반사 모델링을 개선하고 빛 폐색 효과를 고려하여 표면 법선 추정 성능을 향상시킨다. 또한, neural inverse rendering을 사용한 self-supervised 학습 방법으로 data-driven cost문제를 해결한다. IRON-PS는 현실 및 합성 데이터셋에서 평가되었으며, 기존 방법에 비해 향상된 정확성과 안정성을 보여준다. 특히,반사광효과를 고려하지 않는 모델과 비교하여, 반사율이 높은 물체로 구성된 합성 데이터에서는 mean angular error기준으로 27%의 성능 향상을 보여주었다.
more목차
I . Introduction 1
II . Related work 4
2.1 Calibrated Photometric Stereo 4
2.2 Uncalibrated Photometric Stereo 5
III . Methodology 6
3.1 DANI-Net 7
3.1.1 Surface Normal Modeling 7
3.1.2 Cast Shadow Modeling 8
3.1.3 Reflectance Modeling 8
3.2 IRON-PS 9
3.2.1 Image Formation 11
3.2.2 Inter-Reflection Modeling 12
3.2.3 Light Occlusion Modeling 13
3.2.4 Neural Inverse Rendering 15
IV . Experimental Results 18
4.1 Implementation Details 18
4.2 Datasets 18
4.3 Evaluation Metrics 19
4.4 Performance on DiLiGenT [1] 20
4.4.1 Surface Normal Estimation 20
4.4.2 Light Calibration 22
4.5 Performance on Concave-PS 23
4.5.1 Surface Normal Estimation 23
4.6 Ablation Study 25
4.7 Limitations 26
V . Conclusion 28
Bibliography 40
