검색 상세

다중 RGB-D 카메라 스트림의 효과적인 실시간 3차원 합성을 위한 홀 채움 기법

Hole-filling Technique for Effective Real-time 3D Composition of Multiple RGB-D Camera Streams

초록/요약

깊이 카메라(depth camera)와 영상 처리 기술이 발전하면서 카메라가 촬영한 장면을 그대로 보여 주는 2차원 영상을 넘어 임의의 시점에서 보여주는 3차원 영상의 연구가 진행되고 있다. 3차원 영상은 여러 시점에서 촬영한 RGB-D 영상 스트림을 합성하여 생성하며, 이를 효과적으로 처리하기 위한 연구가 다양한 분야에서 이루어지고 있다. 본 논문에서는 여러 대의 카메라에서 촬영을 통해 생성한 RGB-D 영상 스트림으로부터 임의의 가상 시점(virtual view)에 대한 영상을 GPU의 렌더링 파이프라인을 사용하여 실시간으로 생성하는 문제를 다룬다. 본 연구에서는 영상 생성 과정의 문제 중 홀(hole) 문제를 완화하기 위한 홀 채움(hole filling) 기법을 제안한다. 홀 채움 기법은 두 단계로 구성되어 있다. 첫째, 가려진 영역을 줄이는 지형 정보(occlusion reducing geometry, ORG)를 사용하여 홀의 크기를 최대한 축소한다. 전처리를 통해 촬영된 모든 공간적, 시간적 데이터를 분석하여 홀의 크기를 축소할 수 있는 정보만을 최소한의 용량으로 수집하여 ORG를 생성한다. 둘째, 개선된 실시간 인페인팅(in-painting)을 사용하여 촬영되지 않아 더 이상 축소할 수 없는 홀을 실시간으로 제거한다. 기존의 2차원 렌더링 이미지 기반의 인페인팅 기법을 개선하여 3차원 공간상의 깊이, 법선 벡터 정보를 사용하여 보다 자연스럽고 높은 품질의 결과를 생성한다. 본 논문에서 제안하는 홀 채움 기법은 실시간 가상 시점 영상 합성에서 비용 문제로 적은 수의 참조 카메라를 사용하여도 높은 품질의 영상을 제작하는 데에 크게 기여할 수 있을 것으로 보인다.

more

초록/요약

With the development of depth cameras and image processing technologies, three-dimensional(3D) videos allowing to show arbitrary views are common now. 3D videos are often generated by synthesizing RGB-D image streams from multiple cameras, and several studies have been conducted in various fields to effectively handle them. In this paper, we address the problem of generating video of arbitrary virtual views from RGB-D image streams in real time by harnessing the rendering pipeline provided by the massively parallel GPUs. In this work, we propose a hole filling technique to mitigate the annoying artifacts caused during the imaging process. The hole filling technique consists of two steps. First, we propose to use a 3D geometry structure called the Occlusion Reducing Geometry(ORG) to reduce the size of the hole as much as possible in the 3D space. For this, we first analyze all spatial and temporal stream data in a preprocessing stage to generate the ORG by collecting only information that may help reduce the hole with minimal capacity. Second, we also present an improved real-time in-painting technique to fill the resulting holes in real time, which are not captured and can no longer be reduced. We extend an existing 2D rendering image-based in-painting technique, in which the 3D depth and normal vector is exploited to produce more natural and higher quality results. The hole filling technique proposed in this paper will contribute significantly to the production of high-quality videos even when a limited number of reference cameras are forced to be used for achieving a real-time frame rate in synthesizing images corresponding arbitrary virtual views.

more