다중 객체 표면 아바타 재구성을 위한 가우시안 스플래팅 기술 연구
Research on Gaussian Splatting for Multi-Person Surface Avatar Reconstruction
- 주제어 (키워드) 컴퓨터 그래픽스 , 아바타 재구성 , 다중 객체 , 가우시안 스플래팅
- 발행기관 서강대학교 일반대학원
- 지도교수 이주호
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과협동과정
- 실제 URI http://www.dcollection.net/handler/sogang/000000079573
- UCI I804:11029-000000079573
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
가상현실과 증강현실을 위한 아바타 재구성은 오랫동안 연구되어 온 분야다. 최근에는 가우시안 스플래팅 기술이 3D 가우시안 모델을 이용한 장면 재구성을 가능하게 하면서, 내재적 표현 방식인 신경망 네트워크 학습보다 더 효율적이고 빠른 학습을 제공하며, GPU 기반 볼륨 렌더링을 통해 실시간 렌더링을 가능하게 한다. 그러나 이 기술은 텍스처와 기하적 특성을 분리하는데 한계가 있어, 재구성된 장면이 실제 표면 기하와 일치하지 않는 문제가 있다. 또한, 여러 객체가 포함된 장면의 재구성은 객체 간의 폐색으로 인한 정보 손실로 더욱 복잡해지며, 특히 접촉과 같은 근접한 상호작용이 있을 경우에는 문제가 두드러진다. 본 논문에서는 표면에 적합한 가우시안 스플래팅 기반의 다중 객체 아바타 재구성 방법을 제안한다. 첫째, 3D 가우시안 표현 방식 대신 2D 가우시안 모델을 사용한 아바타 표현 방법을 제안하여 객체의 내부와 외부를 쉽게 구분하고, 객체의 표면과 정렬되도록 학습한다. 둘째, 단안 시점 기하 단서를 활용한 학습 방법을 제안한다. 최근 가상 인간을 구현하기 위한 연구가 인기를 끌면서, 인간의 단안 시점 이미지 데이터셋에 학습된 다양한 비전 트랜스포머 기반 비전 파운데이션 모델이 높은 성능을 보이고 있다. 이를 활용하여 텍스처 특징이 부족하거나 입력 영상에서 자주 관찰되지 않는 영역에 대한 기하적 학습을 효과적으로 수행한다. 셋째, 객체 간의 폐색으로 인한 정보 손실을 파악하고 이를 해결하기 위해 객체 분할맵을 활용한 객체 정렬 손실 함수를 제안한다. 이 손실 함수는 입력 객체 분할맵과 렌더링한 객체 분할맵 간의 손실을 역전파하여 학습함으로써, 폐색이 발생한 이미지 영역에 대한 학습을 중단하고 안정적인 학습을 가능하게 한다. 제안된 방법으로 재구성된 아바타는 기존의 신경 방사장 기반의 재구성 방식과 기존의 가우시안 스플래팅 재구성 방식보다 텍스처 및 기하적으로 우수함을 보이며, 객체 간의 접촉이 발생해도 정확한 아바타 재구성이 가능함을 실험을 통해 입증한다.
more초록 (요약문)
Avatar reconstruction for virtual and augmented reality has been extensively studied. Recently, Gaussian Splatting technology has enabled scene reconstruction using 3D Gaussian models, providing more efficient and faster learning than traditional implicit representation methods like neural radiance fields training, and enabling real-time rendering through GPU-based volume rendering. However, this technology faces limitations in separating textures and geometric features, resulting in reconstructions that do not align with the actual surface geometries. Additionally, reconstructing scenes with multiple objects becomes more complex due to information loss caused by occlusions between objects, with significant issues arising during close interactions such as contact. This paper proposes a Gaussian Splatting-based method for reconstructing surface-aligned multi-person avatars. First, we introduce an avatar representation method using 2D Gaussian models instead of 3D Gaussian expression, which simplifies testing between the interior and exterior of objects and aligns the representation with the object surfaces. Second, we propose a learning method utilizing monocular geometric cues. With the rising popularity of research on virtual humans, various vision transformer based vision foundation models trained on human monocular view image datasets have shown high performance. These are utilized to effectively perform geometric learning in regions that lack texture features or are less observed in input images. Third, object-alignment loss function using an object segmentation map is proposed to address and resolve information loss due to inter-object occlusions. This loss function between the input object segmentation map and the rendered object segmentation map is backpropagated to prevent learning in occluded image areas, resulting in enabling stable training. The avatars reconstructed using the proposed method demonstrate superior texture and geometric accuracy over traditional Neural Radiance Field-based and Gaussian Splatting reconstruction methods, effectively handling contact between objects, as proven by experiments.
more목차
제 1 장 서론 5
1.1 연구배경 및 목적 5
1.2 본 논문의 기여도 및 구성 7
제 2 장 배경 지식 및 연구 9
2.1 카메라 파라미터와 카메라 투영 9
2.2 3D 가우시안 스플래팅 10
2.3 SMPL 모델과 SMPLX 모델 12
2.4 아바타 재구성 학습 방법 13
제 3 장 관련 연구 15
3.1 음함수 기반 아바타 재구성 15
3.2 신경 방사장 기반 아바타 재구성 16
3.3 가우시안 스플래팅 기반 아바타 재구성 17
3.4 다중 객체 아바타 재구성 18
3.5 단안 기하 단서 추정을 위한 비전 파운데이션 모델 20
제 4 장 표면 정렬을 위한 가우시안 아바타 표현 22
4.1 문제 정의 22
4.2 가우시안 아바타 학습 개요 23
4.3 표면 정렬을 위한 가우시안 표현법 24
4.4 가우시안 아바타 및 움직임 표현법 25
4.5 데이터 전처리 과정 27
4.5.1 단안 시점 객체 구분 맵 예측 및 개선 27
4.5.2 단안 시점 기하 단서와 2D 키포인트 예측 27
4.5.3 SMPLX 파라미터 예측 및 개선 30
제 5 장 아바타 재구성을 위한 학습 방법 및 구현 세부사항 32
5.1 학습을 위한 손실 함수 32
5.1.1 외관 및 기하 재구성을 위한 손실 함수 32
5.1.2 객체 간 정렬을 위한 손실 함수 33
5.1.3 안정적 학습을 위한 정규화 항 34
5.1.4 총 손실 35
5.2 구현 세부 사항 35
5.3 메쉬 추출 방법 36
제 6 장 실험 결과 37
6.1 데이터셋 37
6.2 평가 지표 38
6.2.1 외관 평가 지표 38
6.2.2 기하 평가 지표 38
6.3 다중 객체 다중 시점 아바타 재구성 모델 비교 39
6.3.1 실험 환경 39
6.3.2 비교 결과 40
6.4 어블레이션 연구(Ablation Study): 단안 기하 단서 모델과 다중 객체 재구성의 적합성 실험 43
6.4.1 실험 환경 43
6.4.2 비교 결과 43
6.5 어블레이션 연구: 손실 함수의 적합성 실험 45
제 7 장 결론 및 향후 연구 48
7.1 결론 48
7.2 향후 연구 49
참고문헌 50
