칼라 영상과 깊이 영상의 신뢰도를 이용한 scene flow 정보 추정
Scene Flow Estimation from Color and Depth Images using Reliability of Color and Depth Images
- 주제(키워드) scene flow , scene flow estimation
- 발행기관 서강대학교 일반대학원
- 지도교수 박래홍
- 발행년도 2013
- 학위수여년월 2013. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000049653
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록/요약
Scene flow는 영상에서의 3차원 움직임 정보를 표현한다. 일반적인 2차원 영상에서는 깊이 정보를 알 수 없기 때문에 기존의 scene flow 추정 알고리즘은 다중 시점 영상으로부터 scene flow를 추정한다. 최근 거리 정보를 직접 측정할 수 있는 다양한 range sensor의 개발 및 성능 개선으로 3차원 거리 정보를 직접 구할 수 있게 되었다. 따라서 본 논문에서는 단일 시점의 칼라 영상과 깊이 영상을 이용하여 scene flow를 추정한다. 먼저 깊이 영상을 칼라 영상 시점으로 정렬하고, 깊이 영상의 손실된 영역 (depth hole) 을 주변의 깊이 정보와 칼라 정보차이 비교를 이용해 필터링한다. 그리고 단일 칼라 영상을 이용해 2차원 움직임 정보인 optical flow를 구하고 이를 이용해 깊이 방향의 flow를 구해 초기 scene flow를 구한다. 그리고 나서 optical flow와 필터링된 깊이 영상 각각의 신뢰도를 구한다. 신뢰도를 바탕으로 초기 scene flow 정보를 이용하여 최종 scene flow를 구한다. 제안하는 방법의 성능은 정량적 평가와 정성적 평가를 하였다. 제안하는 방법은 다중 시점의 칼라 영상 대신 한 시점의 칼라 영상과 깊이 정보를 이용했음에도 기존 방법과 비슷한 결과를 얻을 수 있었다. 이러한 scene flow는 물체 추적, 물체 분할, 영상 압축 등 다양한 컴퓨터 비전 분야에 사용될 수 있다.
more초록/요약
Scene flow is a three-dimensional (3-D) motion field estimated using consecutive frames. Most of scene flow estimation methods use multiple-view images, requiring a lot of computation time and memory space. Recently, the performance of active 3-D range sensors has been improved enough to get a real-time video range data. This thesis proposes a scene flow estimation algorithm from single-view color and depth (RGB-D) images using reliability map of optical flow and depth image. Firstly, we align depth images to corresponding color images. We fill holes in depth images using depth information of neighboring pixels and color differences between the depth hole and neighboring pixels. Then, we estimate optical flow (two-dimensional motion field) from color images and then depth flow from depth images using estimated optical flow. Reliabilities of the estimated optical flow and hole-filled depth images are computed and the initial scene flow is given by the estimated optical flow and depth flow. Finally, we estimate final scene flow using the reliability and initial scene flow. The performance of the proposed method is evaluated quantitatively and qualitatively. Experimental result shows that the proposed method gives results similar to existing methods even though single-view RGB-D images are used instead of multi-view color images. 3-D motion can be applied to various computer vision applications such as object tracking, object segmentation, video compression, and so on.
more