실사 몰입형 비디오의 효과적인 실시간 렌더링을 위한 다중 시점 배경 영상 기법
Multi-View Background Image Technique for Effective Real-time Rendering of Live-action Immersive Video
- 주제어 (키워드) 실사 촬영 몰입형 비디오 , 깊이 오류 , 깊이 영상 기반 렌더링 , MPEG 몰입형 비디오 표준 , 비폐색 축소 , 가상/확장 현실
- 발행기관 서강대학교 일반대학원
- 지도교수 임인성
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079700
- UCI I804:11029-000000079700
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
깊이 정보를 포함하는 다중 시점 비디오 (multi-view plus depth video)인 몰입형 비디오 (immersive video)는 가상/확장 현실과 같은 몰입형 비디오 환경에서 효과 적인 응용을 제작하기 위한 콘텐츠로 주목 받고 있다. 효율적인 저장, 전송 그리고 렌더링을 위한 MPEG 몰입형 비디오 인코딩 표준의 핵심 요소인 푸루닝 (pruning) 과정은 깊이 정보를 사용하여 다중 시점 영상 간에 3D 세상 공간에서 중복된 영역에 해당하는 픽셀을 제거함으로써 비디오의 크기를 효과적으로 줄인다. 그러나 CG기반 몰입형 비디오와 달리 실사 촬영 몰입형 비디오에서는 적지 않은 깊이 추정 오차가 존재하며 종종 푸루닝 과정을 최대한 억제해야 하며, 따라서 동영상 크기가 증가하는 문제가 발생한다. 본 논문에서는 몰입형 비디오 기술의 확산에 필수적인 실사 촬영 몰입형 비디오의 효과적인 표현 방식과 비폐색(disocclusion)으로 인해 발생하는 홀의 크기를 눈에 띄게 줄일 수 있는 다중 시점 배경 영상 기법을 제안한다. 본 방법은 기존의 2D 기반 기법들과 달리 전체 몰입형 비디오 프레임을 분석하여, 3D 공간에서의 배경 정보를 구축하고, 이를 기반으로 배경 영상을 추출해 인코딩한다. 이후 이를 몰입형 비디오에 추가적으로 활용함으로써 홀 영역을 축소하고 렌더링 품질을 향상시킨다. 렌더링 시에는 실사 콘텐츠의 특성을 고려하여, 참조 영상으로 채워지지 않는 영역에만 배경 영상을 사용하며 가상 카메라와 뷰 볼륨 (view volume) 이 겹치는 순서대로 채운다. 본 방법의 유용성을 입증하기 위해 실험을 통해 몰입 형 비디오의 크기나 렌더링 시간의 증가를 억제하면서, 실사 촬영 몰입형 렌더링 화질을 향상시킬 수 있음을 보인다.
more초록 (요약문)
Immersive video, such as multi-view plus depth video, which includes depth information, has garnered significant attention as essential content for developing applications in immersive environments like virtual and augmented reality. The pruning process, a key component of the MPEG immersive video encoding standard, effectively reduces video size by using depth information to remove redundant pixels in the 3D world space across multiple views. However, unlike computer-generated (CG) immersive video, real-world immersive video often contains considerable depth estimation errors, which frequently require suppressing the pruning process, leading to an increase in video size. This paper proposes a multi-view background video technique to effectively represent real-world immersive videos and significantly reduce the size of holes caused by disocclusion, which is crucial for the dissemination of immersive video technology. Unlike conventional 2D-based methods, the proposed approach analyzes the entire immersive video frame to construct 3D background information and encode the extracted background video. This additional utilization of background video in immersive video reduces hole regions and improves rendering quality. During rendering, the method considers the characteristics of real-world content, applying background video only to areas not filled by reference images, in the order of overlap with the virtual camera and view volume. Experimental results demonstrate the utility of the proposed method by enhancing the rendering quality of real-world immersive content while suppressing the increase in immersive video size and rendering time.
more목차
제 1 장 서론 1
1.1 연구 배경 1
1.2 논문의 기여도 및 구성 3
제 2 장 관련 연구 5
2.1 실사 데이터를 활용한 MIV인코딩 및 폐색 문제 연구 5
2.2 몰입형 비디오 환경에서 홀 채움 기법에 대한 연구 8
제 3 장 실사 몰입형 비디오의 다중 시점 배경 영상을 사용한 실시간 비폐색 감소 기법 10
3.1 문제 정의 및 본 기법의 기여도 10
3.2 다중 시점 배경 영상 추출 15
3.2.1 3D Background model 구축 15
3.2.2 MIV 인코더 입력 포맷의 RGB-D 배경 이미지 추출 16
3.2.3 배경 카메라 배치 19
3.3 다중 시점 배경 영상을 포함한 실시간 몰입형 비디오 시스템 22
3.3.1 시스템 개요 22
3.3.2 참조와 배경 아틀라스의 렌더링 리소스 구축 23
3.3.3 배경 모델을 포함한 몰입형 비디오 렌더링 25
제 4 장 실험 결과 29
4.1 실험 환경 29
4.2 실험 데이터 30
4.3 렌더링 시간 32
4.4 렌더링 품질 34
4.5 AI기반 ProPainter 결과와의 비교 44
제 5 장 결론 47
5.1 결론 및 향후 연구 47
참고문헌 49
