검색 상세

Latent diffusion model에서 Inverse problem 기법을 활용해 img2env&pbr 모델 개발

Developing an img2env&pbr model using the Inverse problem technique in the Latent Diffusion Model

목차

제 1 장 서론 1
1.1 연구 배경 및 동기 1
1.1.1 연구 배경 1
1.1.2 연구 동기 1
1.2 연구 목표 2
제 2 장 연구 배경 5
2.1 Rendering Model 5
2.1.1 물리기반 렌더링(Physically Based Rendering, PBR) 5
2.1.2 양방향 반사 분포 함수(BRDF) 8
2.1.3 PBR맵 13
2.2 Diffusion Model 14
2.2.1 Diffusion model 14
2.2.2 Forward process 16
2.2.3 Reverse process 17
2.2.4 Loss function 17
2.3 Latent Diffusion Model 20
2.3.1 VAE 21
2.3.2 Latent diffusion model 22
2.3.3 Conditional latent diffusion model 22
2.4 Diffusion Posterior Sampling 23
2.4.1 Score function & error 23
2.4.2 Classifier 26
2.4.3 Inverse problem 27
2.4.4 Diffusion posterior sampling 28
제 3 장 관련 연구 34
3.1 Matfuse 34
3.1.1 연구 소개 34
3.1.2 연구 분석 35
3.1.3 본 연구와의 차이 37
3.2 DPI 37
3.2.1 연구 소개 37
3.2.2 연구 분석 39
3.2.3 본 연구와의 차이 42
제 4 장 연구 방법 43
4.1 Solving Inverse Problems with Latent Diffusion Models 43
4.2 연구 방법론 44
4.3 학습 Data 45
4.3.1 환경광맵 45
4.3.2 PBR맵 48
4.3.3 카메라 위치 50
4.4 학습 및 inference 방법 52
4.4.1 환경광맵 VQVAE 학습 52
4.4.2 PBR맵 VQVAE 학습 53
4.4.3 환경광맵 LDM 학습 54
4.4.4 PBR맵 LDM 학습 54
4.4.5 Inference 방법 55
제 5 장 연구 결과 58
5.1 평가 방법 58
5.2 학습 결과 58
5.2.1 VQVAE 59
5.2.2 Latent Diffusion Model 65
5.3 실험 결과 67
제 6 장 결론 73
6.1 결론 73
6.2 추후 연구 73
참고 논문 79

more