검색 상세

VR 환경을 위한 4D 가우시안 스플래팅 시스템의 구축 및 학습 과정 개선

Construction of 4D Gaussian Splatting System for Virtual Reality and Improvement of Training Process

  • 조세희 (Cho Sehee, 서강대학교 일반대학원)

초록(요약문)

새로운 시점 합성 (novel view synthesis) 분야에서 전례 없는 시각적 품질을 보이는 NeRF (Neural Radiance Fields)가 공개된 이후, NeRF의 학습과 렌더링 속도를 개선한 3D 가우시안 스플래팅 (Gaussian Splatting)이 제안되었다. 해당 연구를 기반으로 동적 장면을 지원하기 위한 시간축 확장 연구와 화각이 크다는 특수성을 갖는 VR 환경에서 품질을 개선하기 위한 연구 등이 제안되었다. 그러나 VR 환경에서 동적 장면을 지원하는 문제의 경우에는 아직 완전히 해결되지 않은 상황이다. 따라서 본 논문에서는 VR 환경에서 동적 장면을 처리하기 위한 가우시안 스플래팅 시스템을 제안한다. 본 논문에서는 첫째, ‘전처리 - 학습 - 뷰어’로 구성된 전체 파이프라인을 제시한다. 전처리 단계에서는 데이터셋에 따라 서로 다른 방식으로 3D 포인트 클라우드를 생성한다. 학습 단계에서는 복원된 4D 장면을 구성하는 가우시안 입자들의 속성 값을 최적화한다. 뷰어 단계에서는 학습이 끝난 가우시안 모델을 임의의 시점에서 렌더링한다. 둘째, 동적 영역에서의 렌더링 화질을 개선하였다. 기존 4D 모델링 방식에서는 동적인 영역이 세밀하게 표현되지 않는 한계가 존재했다. 이를 해결하기 위해 학습 과정에서 속도에 따라 4D가우시안을 분할 또는 복제함으로써, 가우시안 입자의 개수를 늘려 세부적인 형태를 정교하게 표현하였다. 셋째, 학습 과정에서 기존 4D 일관성 손실 항의 메모리 효율을 개선하였다. 기존에는 4D 일관성 손실 계산 시 4D 공간을 균일하게 분할해 구간마다 최대 크기의 CUDA 메모리를 할당함으로써 필요한 것보다 큰 크기의 메모리를 사용하였다. 이러한 메모리 비효율을 개선하기 위해 구간마다 메모리를 할당하는 것이 아닌, 전체 구간에 대해 필요한 크기의 메모리만을 할당하였다. 결과적으로 학습 시간을 최대 73.3% 단축하였고, 최대 29.33fps로 렌더링되며, 동적 영역의 렌더링 화질을 개선하였다.

more

초록(요약문)

Since the publication of NeRF (Neural Radiance Fields), which shows unprecedented visual quality in the field of novel view synthesis, 3D Gaussian Splatting, which improves the learning and rendering speed of NeRF, is published. Based on this study, temporal extension studies to support dynamic scenes and studies to improve quality in VR environments with a large angle of view have been proposed. However, for the problem of supporting dynamic scenes in VR environments, it is still unresolved. Therefore, This thesis proposes a Gaussian Splatting system for processing dynamic scenes in VR environments. First, the overall pipeline consisting of ‘Pre-processing - Learning - Viewer’ is presented. In the Preprocessing step, a 3D point cloud is generated in different ways depending on the dataset. In the Learning step, the attributes of Gaussian particles to reconstruct the 4D scene are optimized. In the Viewer step, the trained Gaussian model is rendered at an arbitrary view of particular time. Second, the method to improve the rendering quality in the dynamic area is proposed. In the existing 4D modeling method, there was a limitation in that the dynamic region was not expressed in detail. To solve this problem, by splitting or cloning 4D Gaussians according to speed in the learning process, the number of Gaussian particles is increased to elaborately represent the detailed form. Third, the memory efficiency of the existing 4D consistency loss is improved during the learning process. When calculating the 4D consistency loss, 4D space was evenly divided and the maximum size of CUDA memory was allocated for each section, so a larger size than necessary memory was used. In order to improve this memory inefficiency, memory is not allocated for each section, but only memory with a required size for the entire section is allocated. As a result, the learning time was reduced by up to 73.3%, rendered at up to 29.33 fps, and the rendering quality of the dynamic area was improved.

more

목차

제 1 장 서론 1
1.1 연구 배경 1
1.2 본 논문의 기여도 및 구성 3
제 2 장 관련 연구 5
2.1 3D 가우시안 스플래팅 5
2.2 3D 가우시안 스플래팅의 시간축 확장 6
2.3 3D 가우시안 스플래팅의 VR 확장 8
제 3 장 VR 환경에서의 4D 가우시안 스플래팅 시스템 구축 9
3.1 시스템 개관 10
3.1.1 시간축 확장을 위한 4D-Rotor 기법[1] 10
3.1.2 VRSplat 시스템의 확장[2] 13
3.1.3 통합 시스템 구축 14
3.2 통합 시스템의 확장 16
3.2.1 데이터셋에 따른 전처리 기법 16
3.2.2 CUDA 기반 시간축 슬라이싱 이식 19
제 4 장 학습 과정에서의 품질 개선 21
4.1 가우시안 입자의 속도에 따른 분할 및 복제 기법 21
4.1.1 동적 영역의 화질 문제 21
4.1.2 분할 및 복제를 통한 화질 개선 25
4.2 4D 일관성 손실의 메모리 효율 개선 30
4.2.1 메모리 할당 비효율 문제 30
4.2.2 최적화된 메모리 할당 기법 33
제 5 장 실험 결과 38
5.1 실험 환경 38
5.2 VR 환경에서의 4D 가우시안 스플래팅 시스템 40
5.3 동적 영역의 화질 개선 42
5.4 메모리 할당 효율 개선 58
제 6 장 결론 및 향후 연구 60
6.1 결론 60
6.2 향후 연구 62
참고 문헌 63

more
반출 Meta View 목록