MosaicVS : Mosaic-based Omnidirectional View Synthesis Framework from Multi-view Depth Estimation
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000069985
- UCI I804:11029-000000069985
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
We present Mosaic-based View Synthesis (MosaicVS), a depth estimation framework for the omnidirectional view synthesis. It uses a regular field of view (FOV) multi-view stereo (MVS) network for an omnidirectional imaging set-up with explicit consideration of hypothetical voxel-wise FOV overlaps. The resulting depth estimations are accurate and agree on the omnidirectional multi-view geometry. Unlike existing MVS set-ups, MosaicVS can be easily applied to omnidirectional indoor scenes without having to account for constraints. We validate the performance of our framework on a new challenging indoor dataset in terms of depth estimation, and reconstruction. As a result, MosaicVS outperforms the state-of-the-art methods in a large margin in all our scenes. Finally, the framework is well enough for omnidirectional view synthesis, as we checked the rendered views based on our method which showed the best results among other existing methods including neural radiance field (NeRF) based methods.
more초록 (요약문)
본 연구는 전방위 가상 시점 합성을 위한 depth 추정 기반 Mosaic-based View Synthesis (MosaicVS) 프레임워크를 제안한다. 전방위 촬영 기법에 적용될 수 있도록 일반적인 Multi-View Stereo (MVS) 기법을 개선하여 voxel-wise한 field of view (FOV) 오버랩을 고려하여 MVS 기반 depth 추정 네트워크 개발하였다. 제안 depth 추정 알고리즘에서의 depth 정보를 이용하여 wide-baseline에서도 렌더링 가능한 view synthesis 프레임워크를 개발하였다. 본 프레임워크의 depth 추정 결과는 매우 정확하고, 전방위 multi-view geometry에 근거 하여 정확도가 높은 view synthesis가 가능하다. 또한, 다른 MVS 촬영 기법들과는 달리, MosaicVS는 각종 geometric constraint의 고려없이 전방위 실내 영상에서 쉽게 적용될 수 있는 강점을 가진다. 본 프레임워크의 성능을 검증하기 위해, depth 추정, 3차원 복원 등 다양한 측면에서 새로 촬영된 실내 영상 데이터 셋에 대해 실험을 진행하였다. 그 결과, MosaicVS는 다른 state-of-the-art 기법보다 모든 scene에 대해 성능이 가장 우수하였다. 또한 본 기법으로 합성된 view가 Neural Radiance Field (NeRF) 기반의 방식을 포함한 최신 rendering 기법 사이에서도 가장 우수한 성능을 나타냄을 확인하였다. 이에 따라 제안 기법 전방위 view synthesis에 충분히 적용될 수 있는 연구임을 확인하였다.
more