검색 상세

희소 다시점 영상으로부터 동적 다중 아바타의 시점 일관적인 기하 및 외관 재구성

Reconstructing View-Consistent Geometry and Appearance of Dynamic Multiple Avatars from Sparse View Videos

  • 김서연 (서강대학교 일반대학원)

초록(요약문)

가상·증강 현실과 실감형 콘텐츠의 확산에 따라, 실제 객체의 동작과 외관을 정확하게 재현하는 3차원 아바타 재구성 기술의 중요성이 높아지고 있다. 최근 3D 가우시안 스플래팅을 기반으로 한 신경 기반 렌더링 기술은 정적 장면에서 뛰어난 신규 시점 합성 성능을 보였으나, 이를 동적 아바타에 적용한 기존 연구는 주로 밀집 시점 촬영 환경이나 단일 객체 상황에 초점을 맞추고 있어 실제 제작 환경에서 빈번한 희소 시점 및 다중 객체 상호작용 시 발생하는 관측 정보 부족 문제를 해결하지 못한다. 본 논문은 이러한 희소 시점 환경의 제약을 극복하고 고품질 동적 아바타를 재구성하기 위해, 표면 정렬 2D 가우시안 표현과 자세 기반 동적 모델링 구조를 결합한 표면 정렬 기반 동적 가우시안 아바타 표현을 제안한다. 제안 기법은 가우시안을 객체 표면에 정렬시켜 시점 간 관측 편차로 인해 발생하는 가우시안 부유 및 외관 아티팩트를 완화하고, 공간 분산형 MLP와 뉴럴 기저를 통해 자세 변화에 따른 고주파 디테일을 정밀하게 복원한다. 또한 깊이 기반 역매핑을 활용한 시점 일관성 최적화를 도입하여, 학습되지 않은 신규 시점에서도 외관 및 기하 정보가 일관되게 유지되도록 유도한다. 제안된 방법으로 재구성된 아바타는 기존의 최신 방법론 대비 외관 및 기하 평가 지표 전반에서 우수한 성능을 달성하며 희소 시점 환경에서 동적 아바타의 재구성 품질을 유의미하게 향상시킴을 입증한다.

more

초록(요약문)

The growing adoption of virtual and augmented reality and immersive content has heightened the importance of 3D avatar reconstruction techniques that accurately reproduce the motion and appearance of real-world subjects. Recent neural rendering technologies based on 3D Gaussian Splatting have demonstrated outstanding novel view synthesis performance in static scenes. However, existing studies applying these methods to dynamic avatars primarily focus on dense-view capture environments or single-object scenarios, failing to address the challenges of limited observational data prevalent in real-world settings involving sparse-view and multi-object interactions. To overcome the constraints of such sparse-view environments and reconstruct high-quality dynamic avatars, this paper proposes a surface-aligned dynamic Gaussian avatar representation that integrates a surface-aligned 2D Gaussian representation with a pose-conditioned dynamic modeling structure. The proposed method aligns the Gaussians to the object surface, mitigating floating artifacts and appearance inconsistencies caused by view-dependent observation disparities. In addition, a spatially distributed MLP coupled with learnable neural bases is employed to accurately reconstruct high-frequency, pose-dependent fine-scale details such as wrinkles and subtle non-rigid deformations. Furthermore, a depth-based inverse mapping–driven view consistency optimization scheme is introduced to enforce consistent appearance and geometry even at novel viewpoints that are not directly supervised during training. Experimental results on challenging multi-person interaction sequences show that the proposed approach consistently outperforms state-of-the-art baselines across both appearance and geometric evaluation metrics. These results demonstrate that the method significantly improves dynamic avatar reconstruction quality under sparse-view conditions.

more

목차

제 1 장 서론 4
1.1 연구배경 및 목적 4
1.2 본 논문의 기여도 및 구성 5
제 2 장 배경 지식 및 연구 7
2.1 카메라 모델과 투영 7
2.2 3D 가우시안 스플래팅 8
2.3 SMPL 모델과 SMPLX 모델 10
2.4 GeoAvatar 11
제 3 장 관련 연구 14
3.1 가우시안 스플래팅 기반 아바타 재구성 14
3.2 자세 기반 동적 변형 모델링 15
3.3 희소 시점 아바타 재구성 16
3.4 다중 객체 아바타 재구성 18
제 4 장 표면 정렬 기반 동적 가우시안 아바타 표현 20
4.1 문제 정의 20
4.2 전체 학습 파이프라인 개요 21
4.3 자세 기반 동적 가우시안 표현 23
4.3.1 공간 분산 MLP를 통한 동적 계수 예측 24
4.3.2 뉴럴 기저를 활용한 동적 속성 결합 24
4.4 시점 일관성 최적화 25
4.4.1 신규 시점 샘플링 26
4.4.2 깊이 기반 가상 정답 생성 및 마스킹 27
4.4.3 최적화 목표 30
제 5 장 학습 방법 및 구현 세부사항 31
5.1 손실함수 설계 및 정의 31
5.1.1 광도적 손실 31
5.1.2 기하 및 변형 정규화 손실 31
5.1.3 단안 기하 단서 손실 33
5.1.4 시점 일관성 최적화 손실 33
5.2 단계별 학습 전략 34
5.3 구현 세부사항 35
제 6 장 실험 결과 37
6.1 데이터셋 37
6.2 평가 지표 38
6.2.1 외관 평가 지표 38
6.2.2 기하 평가 지표 38
6.3 희소 시점 다중 객체 아바타 재구성 모델 비교 39
6.3.1 실험 환경 39
6.3.2 실험 결과 40
6.4 어블레이션 연구(Ablation Study): 시점 일관성 최적화 적합성 실험 45
6.5 어블레이션 연구: 자세 기반 동적 변형 구조의 적합성 실험 48
제 7 장 결론 및 향후 연구 51
7.1 결론 51
7.2 향후 연구 52
참고문헌 54

more
반출 Meta View 목록