RARo : 실시간 주의집중 기반 강우 제거를 위한 계층적 스케일이 적용된 효율적 네트워크
RARo: Real-time Attention-Driven Rain Removal with Hierarchical Scale-aware Efficient Network
- 주제어 (키워드) 단일 이미지 빗물 제거 , 실시간 응용 , 다중 스케일 네트워크 , 스케일 인식 표현 , 주의 매커니즘 , 패턴 인식; Singe-Image Deraining , Real-time applications , Multi-Scale Network , Scale aware representation , Attention Mechanism , Pattern Recognition
- 발행기관 서강대학교 일반대학원
- 지도교수 박운상
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000079315
- UCI I804:11029-000000079315
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
효율적인 Single Image Deraining (SID)은 실시간 응용에 필수적이지만, 최근 Transformer 기반의 접근 방식들은 높은 메모리 사용량과 느린 추론 속도로 인해 어려움을 겪는다. 이 논문에서는 RaRO라는 새로운 솔루션을 제안하여, 고성능의 빗물 제거와 낮은 연산 요구량을 균형 있게 유지해 실시간 사용에 적합한 모델을 만든다. 이 접근 방식은 다양한 강도와 패턴의 빗줄기를 여러 스케일에서 효과적으로 포착할 수 있도록 scale-aware weighted CNN 네트워크를 사용한다. 우리는 single image deraining 성능을 높이기 위해 다중 스케일에서 작동하는 Gradient Extraction Block (GEB)과 Gradient Attention Block (GAB)을 도입해 빗줄기 특징에 집중하면서 배경 정보를 보존한다. 또한, 효과적인 빗줄기 제거를 위해 gradient 기반 손실 함수를 제안한다. Transformer 기반 모델들과 달리, RARo는 single image derarining 과정에서 최첨단 Transformer 기반 모델 대비 약 86% 적은 메모리를 사용하며, 256×256 크기의 이미지에서 초당 19.61 프레임의 빠른 추론 속도를 낸다. 다양한 벤치마크 실험 결과에서도 일부 경우 최고 성능을 달성하였다. 다른 방법들과 비교할 때, 이 모델은 실시간 응용에 효과적인 솔루션임을 입증한다.
more초록 (요약문)
Efficient Single Image Deraining (SID) is essential for real-time applications, yet recent Transformer-based approaches face challenges due to high memory usage and slow inference speeds. In this paper, we propose RaRO, a novel solution that balances high performance deraining with low computational demands, making it well-suited for real-time use. This approach employs a scale-aware weighted CNN network to effectively capture rain streaks of varying intensities and patterns across multiple scales. To enhance single image deraining performance, we introduce the Gradient Extraction Block (GEB) and Gradient Attention Block (GAB), which operate across multiple scales to focus on rain streak features while preserving background details. Additionally, we propose a gradient-based loss function to facilitate effective rain streak removal. Unlike Transformer-based models, RARo uses 86% less memory compared to state-of-the-art Transformer-based models during single image deraining and achieves a fast inference speed of 19.61 FPS on 256×256 images. Experimental results across various benchmarks demonstrate that the model achieves state of-the-art performance in some cases, proving RARo to be an effective solution for real-time applications.
more목차
제 1 장 서론 1
1.1 연구 배경 1
1.2 논문의 기여 2
1.3 논문의 구성 4
제 2 장 관련 연구 5
2.1 Multi-Stage Progressive Image Restoration (MPRNet) 5
2.2 Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining (NeRD-Rain) 6
2.3 Scale-aware Representation 8
2.4 Gradient Relevant Methods. 9
제 3 장 제안하는 방법론 10
3.1 전체적인 모델 구조 11
3.2 Gradient Extraction and Attention Block 13
3.3 제안하는 손실 함수 15
제 4 장 실험 및 결과 18
4.1 실험 환경 18
4.2 벤치마크 및 평가 방식 19
4.2.1 벤치마크 데이터 세트 19
4.2.2 평가 지표 20
4.3 결과 20
4.3.1 CNN 기반 방법과의 비교 22
4.3.2 Transformer 기반 방법과의 비교 22
4.3.3 Ablation Study: GAB 의 효과성 24
4.3.4 Ablation Study: scale-aware weighted U-Net 의 효과성 25
4.3.5 Ablation Study: 새로운 손실함수의 효과성 27
4.3.6 추가적인 실험 결과 28
4.3.7 한계점 33
제 5 장 결론 34
제 6 장 참고 문헌 35
