검색 상세

Shallow DenseNet with Deep Residual Blocks for Single Image Enhancement

  • 장동원 (서강대학교 일반대학원)

초록/요약

This dissertation proposes shallow DenseNet with deep residual blocks (DRBCA) depending on distributions between input and desired output images. The key point of image-to-image applications using deep learning is to notice important factors to learn the non-linear mapping between input and desired output images. Our approach focuses on solving two problems: how to connect the basic blocks in whole network and what composite blocks are used in view of applications. Recent deep learning-based works such as ResNet and DenseNet have shown that shorter connections between layers in convolutional neural network (CNN) improve the performance. However, ResNet and DenseNet have the challenge to construct deep models for image-to-image applications such as single image super resolution (SISR) and single image contrast enhancement (SICE). The deep residual network without batch normalization occasionally suffers from unstable training and the deep DenseNet has to deal with the increase of the number of channels. In this dissertation, by combining effectively dense connectivity and residual learning, we improve the performance of the network for SISR with fewer parameters. To avoid excessive increase of the number of channels in concatenated features by dense connectivity, the proposed DRBCA densely connects residual groups with a small number of residual groups (four or five). We show that these connections can improve both SISR and single image contrast enhancement (SICE) methods. In SICE, the network transfers under- or over-exposed image to normally-exposed image. In contrast to SISR, the network learns the brightness change for SICE. In terms of feature transfer, rectified linear unit (ReLU) or parametric ReLU commonly focuses on transferring positive feature. Failure of the brightness change in over-exposed region to normally-exposed region may occur due to the lack of negative feature. For SICE, we propose two-stream DRBCA: ReLU stream and negative ReLU stream. Furthermore, distributions between small patch images (for training) and whole images (for inference) are different, and this difference is larger in SICE dataset than in SISR dataset. In this case, the network can be over-fitted to train dataset. We studied on the trade-off between training patch size and batch size to prevent over-fitting with statistical blocks such as batch normalization and channel-attention. This dissertation takes steps towards CNN pipeline including shorter connection, trade-off between the training patch size and batch size, and negative feature transfer. The proposed shorter connection (DRBCA) achieved the best performance in SISR. Two-stream DRBCA outperformed the state-of-the-art SICE methods.

more

초록/요약

본 논문은 DenseNet과 ResNet을 결합하여 입력 영상과 바람직한 출력영상 패턴에 적합한 shallow DenseNet with deep residual blocks (DRBCA) convolutional neural network (CNN)을 제안한다. Deep learning을 이용한 image-to-image application 구성에서 중요한 점은 입력 영상과 바람직한 영상간의 non-linear mapping 학습에 있다. 우리의 방법은 이 문제를 두 가지 측면에서 접근했다. Convolution layer들로 구성된 기본 단위 블록을 전체 network에서 어떻게 구성하는지에 대한 연구와 application 관점에서 기본 단위 블록의 구성을 어떻게 하는 것이 좋은가에 대한 연구이다. 최근 ResNet과 DenseNet 같은 deep learning 방법들은 layer간의 shorter connection을 바탕으로 성능 향상을 이끌었다. 하지만 single image super resolution (SISR) 이나 single image contrast enhancement (SICE)와 같은 image-to-image application에서 deep ResNet과 deep DenseNet을 구성하는데 어려움이 있다. Deep ResNet의 경우 batch normalization을 사용하지 않는 경우 학습이 불안정한 경우가 있으며, deep DenseNet의 경우 channel의 급격한 증가를 다룰 기술이 필요하다. 본 논문에서는 ResNet과 DenseNet을 효율적으로 결합하여 SISR에서 더 적은 수의 parameter로 더 좋은 결과를 얻을 수 있었다. Dense connection에 의한 급격한 채널 수의 증가를 방지하기 위해서, 제안하는 DRBCA는 residual group를 dense connection으로 연결한다. 네트워크 내에 residual group은 4개에서 5개 정도로 적은 편이다. 제안하는 새로운 구조는 SISR이나 SICE에서 좋은 성능을 낸다. SICE에서, network는 under-exposed 영상이나 over-exposed 영상을 normally exposed 영상으로 변환해야 한다. SISR과는 다르게, 이 경우 network는 영상의 전체적인 밝기의 변화를 학습해야 한다. Network에 특징의 전달 관점에서 살펴본다면, 기존의 rectified linear unit (ReLU)나 parametric ReLU (PReLU)의 경우 주로 positive feature 전달에 특화되어 있다. SICE에서 over-exposed 영역을 normally-exposed 영역으로 변환하는 부분의 성능이 상대적으로 많이 떨어지는 편인데, 이는 기존의 activation들이 negative feature 전달 능력이 떨어져서 발생하는 것으로 추정할 수 있다. 본 논문은 SICE에 적합한 two-stream DRBCA를 제안한다. 각 stream은 activation이 ReLU인 stream과 negative ReLU (NReLU)인 경우로 구성된다. 또한, 학습에 사용되는 작은 패치 영상과 전체 영상간의 통계적 특성 차이가 있고, 이 차이는 SISR 학습에 사용하는 dataset보다 SICE 학습에 사용하는 dataset에서 더 크다. 이 경우 network은 작은 패치 영상에 over-fitting 될 가능성이 높다. 본 논문에서는 batch normalization이나 channel attention 같은 블록이 학습용 영상에 over-fitting되는 것을 방지하기 위해 학습용 패치 영상의 크기와 network의 batch size간의 trade-off를 연구했다. 본 논문은 CNN pipeline에 대한 연구를 단계적으로 진행했으며, 이는 새로운 shorter connection, 학습용 패치 영상 크기와 batch size간의 trade-off, 그리고 negative feature 전달 관점에서의 네트워크 구성에 대한 연구를 포함한다. 제안하는 shorter connection을 이용한 네트워크 DRBCA는 SISR에서 가장 좋은 성능을 얻었다. Two-stream DRBCA를 구성하여 기존의 SICE의 state-of-the-art 방법들을 압도하는 성능을 얻을 수 있었다.

more
반출 Meta View 목록