End-to-end 학습을 위한 미분 가능한 다중 노출 영상 기반 HDR 영상 복원 기법
End-to-end Differentiable Learning to HDR Image Synthesis for Multi-exposure Images
- 주제(키워드) Image processing , Deep learning , Computer vision , 영상 처리 , 딥러닝 , 컴퓨터 비전
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2021
- 학위수여년월 2021. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- UCI I804:11029-000000065788
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
최근 다중 노출 영상 스택을 기반 단일 노출 영상으로 고품질의 high dynamic range (HDR) 영상을 복원하기 위해 딥러닝 프레임 워크를 활용하는 연구가 진행되고 있다. 기존 딥러닝을 이용한 다중 노출 영상 스택 기반 HDR 복원기법들은 정확도 높은 다중 노출 스택을 생성하기 위해 노출 정보 전달에 중점을 두어 학습을 진행한다. 그에 따라 다중 노출 영상을 합성하여 HDR 영상 복원 시 지역적 반전 아티팩트가 발생하는 경우가 존재하게 되며 인지적으로 실제 영상과 다른 HDR 영상이 합성된다. 본 논문은 기존 이러한 제한점을 개선하기 위해 high dynamic range imaging (HDRI) 프로세스를 학습할 수 있는 새로운 딥러닝 프레임 워크를 제안한다. HDRI에서 기존 미분 불가능한 요소를 미분가능하도록 변형하여 HDR 영상을 목적 영상으로 네트워크를 학습한다. 제안하는 기법을 통해 다중 노출 영상 스택과 HDR 영상 모두 생성할 수 있도록 학습한다. 또한 제안하는 HDR 합성 레이어는 HDRI 프로세스에서 다중 노출 이미지 간의 상관 관계를 반영하면서 학습을 진행해, HDR 영상 복원 성능을 향상시킨다. 제안하는 네트워크는 영상분해 및 재귀 프로세스를 사용하여 노출 정보 전달 작업을 용이하게하고 재귀 횟수에 효과적으로 대응하도록 학습한다. 실험 결과를 통해 제안하는 모델이 노출 전송 작업과 전체 HDRI 결과로써 state-of-the-art 성능의 정량적 및 정성적 결과에 도달하는 것을 보여준다.
more초록/요약
Recently, high dynamic range (HDR) image reconstruction based on the multiple exposure stack from a given single exposure utilizes a deep learning framework to generate high-quality HDR images. These conventional networks focus on the exposure transfer task to reconstruct the multi-exposure stack. Therefore, they often fail to fuse the multi-exposure stack into a perceptually pleasant HDR image as the inversion artifacts occur. We tackle the problem in stack reconstruction-based methods by proposing a novel framework with a fully differentiable high dynamic range imaging (HDRI) process. By explicitly using the loss, which compares the network’s output with the ground truth HDR image, our framework enables a neural network that generates the multiple exposure stack for HDRI to train stably. In other words, our differentiable HDR synthesis layer helps the deep neural network to train to create multi-exposure stacks while reflecting the precise correlations between multi-exposure images in the HDRI process. In addition, our network uses the image decomposition and the recursive process to facilitate the exposure transfer task and to adaptively respond to recursion frequency. The experimental results show that the proposed network outperforms the state-of-the-art quantitative and qualitative results in terms of both the exposure transfer tasks and the whole HDRI process.
more