검색 상세

Residual Dense Network와 SEBlock을 활용한 Swin Transformer 기반 초해상도 이미지 복원 성능 향상

Enhancing Swin Transformer-based super-resolution image restoration with Residual Dense Network and SEBlock

초록 (요약문)

본 연구는 Swin Transformer를 기반으로 한 새로운 초해상도 이미지 복원 모델을 제안하여, 복잡한 텍스처와 세부 정보를 효과적으로 복원하는 데 기여한다. 최근 딥러닝 기반의 이미지 초해상도(Super-Resolution, SR) 기술은 의료 영상, 위성 사진, 감시 시스템 등 다양한 분야에서 저해상도 이미지를 고해상도로 복원하여 활용성을 높이고 있다. 기존의 SwinIR 모델은 Swin Transformer 블록을 활용하여 전역적인 특징 학습에 우수한 성능을 보였으나, 지역적인 세부 정보 추출과 채널 간 상호 의존성 학습에는 한계가 있었다. 본 연구에서는 SwinIR 모델의 성능 향상을 위해 Residual Dense Network(RDN)와 Squeeze-and-Excitation Block(SEBlock)을 효과적으로 통합한 새로운 신경망을 제안한다. 첫째, 얕은 특징 추출 단계에서 RDN을 적용하여 지역적인 특징 학습을 강화한 RSwinIR 모델을 제안한다. 둘째, Residual Swin Transformer Block(RSTB) 내부에 SEBlock을 삽입하여 채널 어텐션 메커니즘을 도입한 SESwinIR 모델을 설계하였다. 마지막으로, RDN과 SEBlock을 모두 적용하여 모델의 성능을 극대화한 RSE-SwinIR 모델을 제안하였다. 실험은 Set5, Set14, BSD100 데이터셋에서 수행되었으며, 제안된 모델들은 기존 SwinIR 대비 PSNR 및 SSIM 지표에서 우수한 성능을 보였다. 특히 RSE-SwinIR 모델은 이미지 구조 복원 성능의 향상을 보여주어, RDN과 SEBlock의 결합이 이미지 초해상도 작업에서 효과적임을 입증하였다.

more

초록 (요약문)

This study proposes a novel super-resolution image restoration model based on the Swin Transformer, contributing to the effective reconstruction of complex textures and fine details. Recent advances in deep learning-based image super-resolution (SR) technology have significantly enhanced the restoration of high-resolution images from low- resolution inputs in various fields such as medical imaging, satellite photography, surveillance systems, and video streaming services. The existing Swin Transformer for Image Restoration (SwinIR) model excels in global feature learning using Swin Transformer blocks but has limitations in extracting local fine details and learning inter-channel dependencies. In this study, we propose a new neural network that effectively integrates the Residual Dense Network (RDN) and the Squeeze-and-Excitation Block (SEBlock) to enhance the performance of the SwinIR model. First, we introduce the RSwinIR model by applying RDN to the shallow feature extraction stage to strengthen local feature learning. Second, we design the SESwinIR model by inserting SEBlock into the Residual Swin Transformer Block (RSTB) to introduce a channel attention mechanism. Finally, we propose the RSE- SwinIR model that maximizes performance by applying both RDN and SEBlock. Experiments were conducted on Set5, Set14, and BSD100 datasets. The proposed models demonstrated superior performance in PSNR and SSIM metrics compared to the existing SwinIR model. In particular, the RSE-SwinIR model showed improvements in image structure restoration performance, demonstrating that the combination of RDN and SEBlock is effective in image super-resolution tasks.

more

목차

제 1 장 서론 1
1.1 연구 배경 1
1.2 논문의 구성 3
제 2 장 관련 연구 4
2.1 Image Super resolution (SR) 4
2.2 CNN based Image super resolution 5
2.3 Swin Transformer 6
2.4 Image Restoration Using Swin Transformer (SwinIR) 8
제 3 장 Method 10
3.1 Data Preprocessing 10
3.2 모델 아키텍처 12
3.2.1 Residual Dense Network (RDN) 12
3.2.2 Squeeze and Excitation Block (SEBlock) 13
3.2.3 RDN, SEBlock 이 적용된 SwinIR 14
제 4 장 실험 및 결과 15
4.1 실험 환경 15
4.1.1 이미지 품질 평가지표 PSNR, SSIM 15
4.2 데이터 셋 17
4.2.1 DIV2K, Flickr2K 데이터셋 17
4.2.2 Set5, Set14, BSD100 데이터셋 20
4.3 실험 내용 22
4.3.1 RDN 을 적용한 Shallow feature extraction, RSwinIR 22
4.3.2 Residual Swin Transformer Block(RSTB) 내부에 SEBlock 을 적용한 SESwinIR 27
4.3.3 RDN 및 SEBlock 을 적용한 RSE-SwinIR 32
4.4 최종 결과 분석 37
제 5 장 결론 및 논의 사항 38
제 6 장 참고 문헌 40

more