Latent diffusion model에서 Inverse problem 기법을 활용해 img2env&pbr 모델 개발
Developing an img2env&pbr model using the Inverse problem technique in the Latent Diffusion Model
- 주제어 (키워드) 생성형 인공지능 , PBR맵 , 환경광맵 , Generative neural networks , Latent diffusion model , Inverse problem , Rendering equation , PBR maps , Environment maps
- 발행기관 서강대학교 메타버스전문대학원
- 지도교수 정문열
- 발행년도 2024
- 학위수여년월 2024. 8
- 학위명 석사
- 학과 및 전공 메타버스전문대학원 메타버스테크놀로지
- 실제 URI http://www.dcollection.net/handler/sogang/000000079215
- UCI I804:11029-000000079215
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
목차
제 1 장 서론 1
1.1 연구 배경 및 동기 1
1.1.1 연구 배경 1
1.1.2 연구 동기 1
1.2 연구 목표 2
제 2 장 연구 배경 5
2.1 Rendering Model 5
2.1.1 물리기반 렌더링(Physically Based Rendering, PBR) 5
2.1.2 양방향 반사 분포 함수(BRDF) 8
2.1.3 PBR맵 13
2.2 Diffusion Model 14
2.2.1 Diffusion model 14
2.2.2 Forward process 16
2.2.3 Reverse process 17
2.2.4 Loss function 17
2.3 Latent Diffusion Model 20
2.3.1 VAE 21
2.3.2 Latent diffusion model 22
2.3.3 Conditional latent diffusion model 22
2.4 Diffusion Posterior Sampling 23
2.4.1 Score function & error 23
2.4.2 Classifier 26
2.4.3 Inverse problem 27
2.4.4 Diffusion posterior sampling 28
제 3 장 관련 연구 34
3.1 Matfuse 34
3.1.1 연구 소개 34
3.1.2 연구 분석 35
3.1.3 본 연구와의 차이 37
3.2 DPI 37
3.2.1 연구 소개 37
3.2.2 연구 분석 39
3.2.3 본 연구와의 차이 42
제 4 장 연구 방법 43
4.1 Solving Inverse Problems with Latent Diffusion Models 43
4.2 연구 방법론 44
4.3 학습 Data 45
4.3.1 환경광맵 45
4.3.2 PBR맵 48
4.3.3 카메라 위치 50
4.4 학습 및 inference 방법 52
4.4.1 환경광맵 VQVAE 학습 52
4.4.2 PBR맵 VQVAE 학습 53
4.4.3 환경광맵 LDM 학습 54
4.4.4 PBR맵 LDM 학습 54
4.4.5 Inference 방법 55
제 5 장 연구 결과 58
5.1 평가 방법 58
5.2 학습 결과 58
5.2.1 VQVAE 59
5.2.2 Latent Diffusion Model 65
5.3 실험 결과 67
제 6 장 결론 73
6.1 결론 73
6.2 추후 연구 73
참고 논문 79