Lightweight and Efficient Transformers for Image Restoration
경량화된 효율적인 트랜스포머를 활용한 이미지 복원 방법론
- 주제어 (키워드) Lightweight Network , Transformer , Image Restoration , N-Gram Context , Spatial Self-Attention , Channel Self-Attention , Reciprocal Attention Mixing , 경량화된 신경망 , 트랜스포머 , 이미지 복원 , 엔그램 맥락 , 공간적 셀프어텐션 , 채널 셀프어텐션 , 상호 어텐션 혼합
- 발행기관 서강대학교 일반대학원
- 지도교수 양지훈
- 발행년도 2023
- 학위수여년월 2023. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000076451
- UCI I804:11029-000000076451
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
대부분의 이미지 복원 연구들이 과도한 양의 파라미터를 가진다는 문제점 때문에, 몇몇 경량화된 이미지 복원 작업에서는 이미지 복원 신경망의 크기를 줄이고자 고군분투한다. 최근, 스윈트랜스포머에 의해 제안된 윈도우 셀프어텐션과 향상된 윈도우 셀프어텐션 방법론은 이미지 복원 분야에서 뛰어난 성과를 보이고 있다. 하지만, 기본적인 윈도우 셀프어텐션은 제한된 크기의 수용영역을 가지고 있기 때문에, 본 논문에서는 첫 번째로 엔그램 맥락 방법을 제안한다. 그렇게 함으로써 NGswin이라는 효율적인 구조와 SwinIR-light의 향상된 버전인 SwinIR-NG를 통해 이러한 문제점을 극복한다. 또한, 초해상화를 제외한 거의 모든 경량화된 이미지 복원 작업들은 최신 비전 트랜스포머 기반의 방법을 이용하여 연구되지 않았다. 따라서 우리는 두 번째로 경량화된 이미지 노이즈 제거에 대해 탐구하고 일곱개의 발전된 노이즈 제거 트랜스포머 베이스라인을 제공한다. 세 번째로 경량화된 이미지 복원을 위해 RAMiT라는 상호 어텐션 혼합 트랜스포머를 제안한다. 이것은 주어진 이미지 내에서 지역 및 전역 맥락을 모두 고려함으로써 윈도우 셀프어텐션의 문제를 해결하고 다수의 이미지 복원 작업에서 성능을 향상시킨다. 실험결과에 따르면, 우리의 NGswin, SwinIR-NG, RAMiT는 다양한 경량화된 이미지 복원 작업에서 최첨단의 결과를 수립한다. 특히 이러한 학문적 기여도를 인정받아, 엔그램 맥락 논문과 경량화된 노이즈 제거 트랜스포머를 분석한 논문이 각각 CVPR 2023과 ICMR 2023에 채택되었다.
more초록 (요약문)
As most image restoration (IR) studies suffer from excessive number of parameters, some lightweight IR works have striven to reduce the size of IR networks. Recently, the window self-attention (WSA) proposed by Swin Transformer and the improved WSA methods have outstandingly performed on IR fields. However, since the plain WSA has a limited receptive field, this paper firstly proposes N-Gram context methods to overcome this problem with an efficient architecture named NGswin and an improved version of SwinIR-light called SwinIR-NG. Moreover, almost all lightweight IR tasks except for super-resolution has been unexplored with the recent Vision Transformer-based methods. We, therefore, secondly explore the lightweight image denoising and provide seven advanced Transformer baselines for this task. Thirdly, we propose reciprocal attention mixing Transformers for lightweight IR, RAMiT. It can consider both local and global context from a given image, resolving the problems of WSA and boosting the performances on multiple IR tasks. According to our experimental studies, our NGswin, SwinIR-NG, and RAMiT establish state-of-the-art results on various lightweight IR works. Especially, in approval of this academic contribution, our N-Gram context paper and the paper analyzing lightweight denoising Transformers have been accepted at CVPR 2023 and ICMR 2023, respectively.
more