Unified Blind Super-Resolution via Learning Clean Image Prior
- 발행기관 서강대학교 일반대학원
- 지도교수 강석주
- 발행년도 2024
- 학위수여년월 2024. 8
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000078941
- UCI I804:11029-000000078941
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
Blind super-resolution (SR) methods aim to generate a clean, high-resolution (HR) image from a low-resolution (LR) image containing unknown degradations. Previous blind super-resolution approaches typically follow a two-stage framework, estimating degradation-related information, and then, restoring HR images based on the estimated information. However, such approaches lack generalization abil- ity to various degradations and have difficulties in fully leveraging the information of degradation. This paper deals with the blind SR problem from a new perspective: learning clean image prior instead of degradation-specific information. Specifically, we introduce the clean feature extraction (CFE) module that generates clean image features from degraded inputs. Subsequently, the efficient frequency decomposition SR (EFDSR) module is applied to produce clean HR images from the extracted clean features. Our EFDSR module is designed to decompose feature into different fre- quency bands and focus on more informative components, resulting to produce fine SR results. Furthermore, we introduce a two-phase training pipeline for our frame- work, allowing the joint training in an end-to-end manner. Experimental results show that our blind SR framework outperforms state-of-the-art (SOTA) performance not only on LR images with unknown blur but also for various degradations such as noise and JPEG compression artifact. We further show that our blind SR framework produces the closest results to the true HR images, without unpleasant distortion, even for severely degraded images by fully learning the mapping from degraded LR images to clean HR images.
more초록 (요약문)
블라인드 초해상화 방법은 알 수 없는 열화가 포함된 저해상도 이미지로부터 깨끗한 고해상도 이미지를 생성하는 것을 목표로 한다. 이전의 블라인드 초해상화 방법은 일반적으로 열화와 관련된 정보를 추정한 후에 추정된 정보를 바탕으로 고해상도 이미지를 복원하는 두 단계의 프레임워크를 따른다. 그러나 이러한 접근법은 다양한 열화에 대한 일반화 능력이 부족하고 열화 정보를 충분히 활용하는데 어려움이 존재한다. 이에 우리는 블라인드 초해상화 문제를 열화에 특정된 정보 대신 깨끗한 이미지에 대한 정보를 추정하는 새로운 형태의 접근법으로 해결하였다. 구체적으로, 우리는 열화된 입력 이미지로부터 깨끗한 이미지 특징을 생성하는 CFE 모듈을 제안하였다. 이후 추출된 깨끗한 특징으로부터 최종적으로 고해상도 이미지를 생성하기 위해 EFDSR 모듈을 제안하였다. 제안된 EFDSR 모듈은 특징을 다양한 주파수 대역으로 분해한 후 더 유익한 구성 요소에 집중하도록 설계되어 정밀한 초해상화 결과를 생성한다. 또한, 제안한 두 모듈의 end-to-end 방식의 공동 학습을 위한 두 단계의 학습 파이프 라인을 제안하였다. 우리는 실험 결과를 통해 제안한 블라인드 초해상화 프레임워크는 흐릿한 저해상도 이미지 뿐만 아니라 노이즈 및 JPEG 압축 아티팩트와 같은 다양한 종류의 열화를 포함한 저해상도 이미지에 대해서도 최첨단의 성능을 달성한 것을 검증하였다. 더불어, 제안한 프레임워크는 열화된 저해상도 이미지로부터 깨끗한 고해상도 이미지로의 맵핑을 end-to-end 방식으로 완전하게 학습하여 심하게 열화된 이미지에 대해서도 왜곡없이 실제 고해상도 이미지에 가장 가까운 결과를 생성한다.
more목차
I . Introduction 1
II . Related works 6
III . Proposed Methods 9
3.1 Problem Formulation 9
3.2 Network Architecture 11
3.3 Training pipeline 18
IV . Experiments 22
4.1 Dataset and Implementation Details 22
V . Results 24
5.1 Comparison to SOTA Blind SR Methods 24
5.2 Generalization Ability on Various Degradations 27
VI . Ablations 30
VII . Conclusion 33
Bibliography 34
