심층 신경회로망 기반 가시광선 영상과 열화상 영상 융합을 통한 야간 차량 검출
Deep Neural Network based night-time vehicle detection with visible-thermal fusion
- 발행기관 서강대학교 일반대학원
- 지도교수 김경환
- 발행년도 2017
- 학위수여년월 2017. 8
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000062132
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
본 논문에서는 심층 신경회로망을 기반으로 가시광선 영상과 열화상 영상을 함께 사용하여 야간에 차량을 검출하는 가시광선-열화상 융합 검출기를 제안한다. 또한 두 영상의 융합 적용 단계를 달리하여 융합을 통한 상호보완 효과가 극대화 되는 융합의 단계를 찾아본다. 기존 연구들은 가시광선 영상에서 차량의 전조등이나 후미등의 검출을 기반으로 하는 방법들이 주를 이룬다. 이러한 방법들은 차량 주변의 조명환경에 민감하여 전조등이나 후미등과 유사한 양상을 보이는 광원이 많은 복잡한 환경에서는 검출 성능이 떨어진다. 가시광선 기반 방법들의 단점을 극복하기 위해 조명에 영향을 받지 않는 열화상 영상을 사용하는 방법들이 근래에는 연구되었다. 열화상 영상에서 주행 중인 차량의 하단부는 온도가 높아 밝기값이 높고, 상단부는 원적외선을 차단하는 유리로 인해 밝기값이 낮다. 대부분의 열화상 영상 기반 방법들은 이러한 특성을 사용하여 차량을 검출하였으나, 시동이 꺼진 차량과 같이 열을 방출하지 않는 차량은 배경이나 다른 사물과 구분되는 패턴을 보이지 않아 검출이 쉽지 않다. 본 논문에서는 기존 방법들의 한계를 극복하기 위해 가시광선 영상과 열화상 영상을 함께 사용하여 차량을 검출하는 방법을 제안한다. 가시광선 영상과 열화상 영상을 함께 사용하는 융합 검출기를 Faster R-CNN을 기반으로 설계하였으며, 융합 적용 단계를 달리하여 가시광선 영상과 열화상 영상의 상호보완 효과가 극대화되는 융합의 단계를 찾아보았다. KAIST multispectral dataset을 사용하여 실험한 결과, 모든 융합 검출기는 가시광선이나 열화상 영상 중 한 영상만을 사용 하는 단독 검출기에 비해 우수한 성능을 보였으며, 융합 검출기 중에서는 Conv2 융합 검출기가 가장 우수한 성능을 보였다.
more