깊이 추정 오류를 포함하는 실사 기반 몰입형 비디오의 렌더링 품질 향상 기법
Technique for Improving Rendering Quality of Live-Action Immersive Video with Depth Estimation Error
- 주제어 (키워드) 몰입형 비디오 , 실사 촬영 , 깊이 추정 오류 , RGB-D 영상 필터링 , 실시간 몰입형 비디오 렌더링
- 발행기관 서강대학교 일반대학원
- 지도교수 임인성
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079844
- UCI I804:11029-000000079844
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
몰입형 비디오는 서로 다른 시점의 여러 카메라로 동일한 장면을 촬영한 비디오 스트림으로 구성되며, 컬러 영상과 깊이 영상을 포함한다. CG뿐만 아니라 실사 기반 몰입형 비디오가 지속적인 관심을 받고 있다. 그러나 실사 콘텐츠의 중요한 과제는 촬영한 컬러 영상으로부터 깊이 정보를 추정해야 하기 때문에, 다양한 형태의 오류가 초래된다는 것이다. 컬러와 깊이 정보 오차 탓에 자연스럽게 에일리어싱이 발생하고 렌더링 품질 저하로 이어진다. 원본을 완벽히 복원하는 것은 불가능하더라도 최대한 원본에 가까워지고자 연구를 시작하게 되었다. 본 논문에서는 본질적으로 내재된 에일리어싱 현상을 완화시키기 위한 렌더링 기법을 제안한다. 제안하는 방법은 전처리 과정과 실시간 렌더링 과정에서 적용할 수 있는 기법들을 통합한다. 전처리가 필요한 이유는 입력 데이터가 종종 오류를 함유하여 신뢰도가 떨어지므로, 렌더링 알고리즘만으로는 변화를 주어 극복하는 게 어렵기 때문이다. 두 가지 속성 간 연관성을 강화하기 위해 가지고 있는 정보를 가공하고 정제할 필요가 있다. 컬러는 보정하고, 깊이는 이상치를 탐지하여 제거한다. 믿을 만한 수준이 된다면 실시간 렌더링에서 이어받아 조금 더 정교한 작업을 수행할 수 있다. 이때 공정하고 합리적인 기준을 바탕으로 단계별 오차를 가려낸다. 가늘고 긴 삼각형을 판단하고, 안정적인 컬러를 선별한다. 마지막에는 모든 제안 기법을 하나의 수식으로 밀접하게 녹여낸다. 이렇듯 실사 기반 몰입형 비디오 콘텐츠에 대한 실험을 통해 그 효용성을 입증한다. 최종 렌더링 품질을 관찰했을 때 에일리어싱이 최소화되어 시각적 화질이 눈에 띄게 향상되었다. 다만 교환 관계에 놓인 성능을 측정했을 때는 예상대로 조금이라도 떨어졌다. 기법마다 개선시킬 여지가 충분하고, 고급 기술을 함께 이용한다면 보다 나은 화질을 표현할 수 있을 것이다.
more초록 (요약문)
Immersive video captures the same scene from multiple viewpoints using several cameras, producing both color and depth videos. While CG(Computer-Generated) content has been a focus, live-action immersive videos are also gaining increasing attention. However, a significant challenge with live-action content lies in estimating depth information from the captured color videos, which often introduces various errors. These errors in color and depth data naturally lead to aliasing, resulting in subpar rendering quality. Although it may not be possible to fully restore the original quality, efforts have been made to approximate it as closely as possible. In this paper, I propose a rendering technique designed to mitigate the aliasing inherent in live-action-based immersive videos. The method integrates preprocessing and real-time rendering techniques. Preprocessing is crucial because the input data often contains inaccuracies and lacks reliability, making it challenging to resolve issues solely through rendering algorithms. To enhance the relationship between color and depth attributes, the data is refined: color information is corrected, and outliers in the depth data are removed. Once the data reliability improves, it is handed over to the real-time rendering stage for more refined operations. The proposed approach systematically addresses errors by setting fair and reasonable criteria, such as identifying elongated triangles and selecting stable color values. Ultimately, these techniques are combined into a unified framework, demonstrating their effectiveness through experiments on live-action immersive video content. Observations of the final rendered output show a significant reduction in aliasing and notable improvements in visual quality. However, as expected, there was a slight trade-off in performance. This highlights opportunities for further refinement, suggesting that integrating more advanced techniques could achieve even better image quality in the future.
more목차
1 서론 1
1.1 몰입형 비디오 렌더링 1
1.1.1 깊이 이미지 기반 렌더링 2
1.1.2 MIV 표준 렌더링 5
1.2 관련 연구 9
1.3 본 논문의 기여도 11
2 연구 배경 12
2.1 컬러 정보 오차 13
2.2 깊이 정보 오차 18
3 비디오 스트림에 대한 전처리 기법 24
3.1 컬러 보정 25
3.2 깊이 이상치 제거 29
4 품질 향상을 위한 실시간 렌더링 기법 40
4.1 가늘고 긴 삼각형 제거 41
4.2 안정적인 컬러 선별 51
4.3 유기적인 컬러 혼합 수식 도입 53
5 실험 결과 55
5.1 실험 환경 55
5.2 모든 제안 기법 적용 결과 56
6 결론 64
참고문헌 65