실사 촬영 몰입형 비디오의 3D 점 구름에 대한 적응적 픽셀 위치 예측 기법
Adaptive Prediction of Pixel Position on 3D Point Cloud of Live-Action Immersive Video
- 주제(키워드) 몰입형 비디오 , 실사 촬영 , 깊이 추정 오류 , 픽셀 보정 , 적응적 알고리즘 , 이동최소제곱
- 발행기관 서강대학교 일반대학원
- 지도교수 임인성
- 발행년도 2026
- 학위수여년월 2026. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000082451
- UCI I804:11029-000000082451
- 본문언어 한국어
- 저작권 논문은 저작권에 의해 보호받습니다.
초록(요약문)
몰입형 비디오 데이터는 색상과 깊이로 구성되지만, 실사 영상을 기반으로 한 데이터는 깊이 정보를 카메라에서 직접 얻을 수 없다. 따라서 깊이 데이터는 촬영된 색상 데이터를 기반으로 알고리즘적인 추정을 통해 계산된다. 그러나 알고리즘적인 한계로 인해 계산된 깊이 값에는 오차가 필연적이며, 이는 역투영 시 점들이 원래 있어야 할 위치에서 벗어나는 현상을 유발한다. 이와 같은 문제를 해결하기 위해 깊이 오차를 보정하는 전처리 과정이 도입되었지만, 기존의 전처리 방식은 원래 위치를 벗어난 점들을 모두 제거하여 데이터의 손실이 필연적이었다. 이러한 점들을 제거하는 대신 원래 있어야 할 위치로 이동시키는 방법을 사용한다면 깊이 오차를 보정하고 데이터 손실도 방지할 수 있다. 본 논문에서는 이를 위해 이동최소제곱(moving least squares) 알고리즘을 기반으로 깊이 오차 픽셀의 원래 위치를 추정하는 방법을 제안한다. 이동최소제곱 알고리즘은 특정 점을 기준으로 주변 점들을 통해 평면을 근사한 후 해당 평면으로 점을 투영한다. 위치를 벗어난 점들도 원래는 표면에 속해 있었기 때문에, 이를 통해 점이 원래 있어야 했을 위치를 찾을 수 있다. 그러나 주변 점의 범위를 잘못 설정하면 투영 오류로 렌더링 결과물에 악영향을 줄 수 있다. 따라서 주변 점의 범위를 주변 환경에 따라 적응적으로 설정하도록 하였다. 그 판단 기준은 두 가지로, 주변 점들의 색상 분산, 그리고 주변 점들이 이루는 표면의 표면 분산(surface variation)이다. 이 기준들을 통해 텍스처나 형상이 복잡한 위치에서는 범위를 적게 잡아 뭉개지는 현상을 방지하였으며, 그렇지 않은 부분에서는 범위를 넓게 잡아 주변 점들과의 오차를 최대한으로 줄였다. 이렇게 추정된 위치로 점들을 보정하는 방법을 다양한 실사 촬영 몰입형 비디오 데이터에서 실험하였고, 기존의 전처리 방법에 비해 홀(hole)이 감소하고 경계면의 렌더링 품질이 상승하는 결과를 얻었다.
more초록(요약문)
Although immersive video data consists of color and depth data, its depth information cannot be derived from the cameras in the case of live-action-based data. Hence depth data is often computed from captured color data, through algorithmic means. However, due to the algorithm's limitations, errors are inevitable in its results. This causes the points to deviate from where they should be during unprojection. To solve this a preprocessing process for correcting depth errors was implemented. But it caused unavoidable data loss as it removed all points deviant from their original positions. Such loss could be prevented if these points are moved to where they belong rather than removed. To this end, this thesis proposes the estimation method for original positions of deviant pixels based on moving least squares(MLS) algorithm. The MLS algorithm, for a certain point, approximates a plane based on its neighboring points and projects it onto the plane. As such points once belonged to some surfaces, this way their correct positions can be assumed. Though, applying MLS can be harmful to the rendering results when done with wrong range of neighboring points. Therefore I made sure to adaptively control the search range for neighboring points based on target point's surroundings. There are two criteria for deciding it, the color variance and the surface variation of adjacent points. Using these, the radius for MLS can be adjusted to match the features of the surrounding scene. Using this estimation method, a novel preprocessing step was tested on several live-action immersive video data, and produced results with reduced holes and improved rendering quality over boundaries compared to the existing method.
more목차
제 1 장 서론 1
1.1 연구 배경 1
1.2 본 논문의 기여도 및 구성 3
제 2 장 관련 연구 5
2.1 3D 와핑(warping)과 RGBD 렌더링 5
2.2 점 구름 품질 개선 6
2.3 이동최소제곱 알고리즘 7
2.4 몰입형 비디오 8
제 3 장 이상치 보정을 위한 전처리 기법 10
3.1 개관 10
3.2 이상치 탐색과 분별 과정 12
제 4 장 적응적 픽셀 위치 예측 기법 16
4.1 적응적 반경 설정의 필요성과 그 기준 16
4.1.1 색상 분산의 계산 18
4.1.2 표면 분산의 계산 22
4.2 최종 탐색 반경 계산 25
4.3 이동최소제곱 알고리즘 적용 31
제 5 장 실험 결과 34
5.1 실험 환경 34
5.2 실험 결과 36
5.2.1 파라미터에 따른 렌더링 결과 분석 36
5.2.2 기법 수행 시간 분석 40
5.2.3 이상치 처리 기법 적용 결과 43
제 6 장 결론 72
6.1 연구 내용 요약 72
6.2 향후 연구 과제 73
