구성성분간 시공간 연결관계를 이용한 계층적 구조 기반의 야간차량 검출 및 추적
A hierarchical method of nighttime vehicle detection and tracking using spatial-temporal relations of components
- 주제(키워드) 물체 검출 , 물체 추적 , 차량 검출 , 야간차량 검출 , 계층구조 , object detection , object tracking , vehicle detection , nighttime vehicle detection , hierarchical structure
- 발행기관 서강대학교 일반대학원
- 지도교수 김경환
- 발행년도 2018
- 학위수여년월 2018. 2
- 학위명 박사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000062947
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
본 논문에서는 계층적 구조를 기반으로 구성성분 간의 연결관계를 이용하여 복잡한 도심을 포함한 야간 환경에서 강건하게 차량을 검출하는 방법을 제안한다. 차량을 구성하는 단계별 성분들을 연관된 계층에서 각각 검출하고 추적한다. 이 때, 계층 내 성분들 간의 관계 뿐만 아니라 시간흐름에 따른 계층 간의 관계 정보도 이용하여 차량검출의 강건성을 확보할 수 있다. 야간차량 검출은 열악한 조명조건으로 인해 비교적 뚜렷하게 관찰이 가능한 후미등을 주요한 특징으로 많이 이용해왔다. 하지만 기존의 후미등 대칭성 기반 방법은 도심과 같이 복잡한 주행환경에서는 차량 간의 겹침이나 차량 전조등과 같은 조명의 영향으로 인한 대칭성 또는 색상의 왜곡이 발생하여 검출 실패가 잦다. 또한, 다양해지고 독특해진 후미등의 디자인 역시 안정적인 후미등 및 차량 검출에 장애가 된다. 본 연구에서는 차량의 구성단계를 적색등, 후미등, 후미등 쌍, 그리고 차량으로 정의한다. 각 계층에서 단계별 성분들의 검출 및 추적을 통하여 복잡한 주행환경에서 발생하는 장애요소들과 내재적 모호성을 극복하여 검츨 성능이 향상된다. 이와 함께, 상위단계에서는 차량의 구조적인 정보를 이용하여 하위단계에서의 오류를 제거할 수 있다. 또한, 상위단계에서 맺어진 연결관계를 기반으로 하는 structural Kalman 필터를 적용한 구성성분 추적을 통하여 추적 성능의 향상을 꾀한다. 계층적 구조의 첫 번째 단계에서는 적색등을 검출하고 추적한다. 광원에 이웃한 영역의 색상정보를 이용하여 다양한 형태를 가지는 적색등을 강건하게 검출할 수 있다. 적색등 추적에는 후미등 검출에서 생성된 연결관계가 사용되며, 시간적 정보 분석을 통하여 차량에 속한 적색등의 검출 실패를 보완한다. 후미등을 적색등의 클러스터로 정의하여 여러 개의 광원으로 이루어진 디자인을 수용할 수 있고, 시간과 거리에 따른 후미등의 형태 변화에도 대응할 수 있다. 후미등 검출은 PFCM (possibilistic fuzzy c-mean) 클러스터링을 통하여 후미등 구성의 모호성은 수용하면서 적색등의 물리적인 거리도 반영할 수 있도록 한다. 추적을 위한 연결관계는 후미등 쌍맺기 과정을 통해 생성한다. 후미등간의 쌍맺기는 수동 추출한 외형의 대칭성을 이용하는 기존의 방법들과 달리 CNN (convolutional neural network) 분류기를 사용한다. CNN 분류기는 차량 전조등, 다른 도심 내 광원 등의 고르지 못한 조명 조건에서 학습을 통해 차량 외형의 유효한 특징을 추출할 수 있어 검출 성능을 개선할 수 있다. 최종적인 차량으로 선택되기 위해서는 일정기간 이상 지속적으로 후미등 쌍으로 검출되어야 한다. 또한, 동일공간에 다수의 차량이 존재하는 상황과 하나의 후미등이 여러 쌍에 속하는 상황에 대하여 금지하는 등의 물리적인 제한 조건을 적용하여 최종결과를 얻는다. 제안하는 방법의 성능은 비도심과 도심의 복잡한 환경을 포함하는 다양한 세트를 대상으로 하는 실험을 통하여 검증한다. Recall과 precision의 검출 성능과 CLEAR metric의 추적 성능을 모두 정량적으로 다른 방법들과 비교검증하며, 다양한 실험결과를 도시하여 정성적으로도 검증한다.
more초록/요약
In this dissertation, a hierarchical method for robust nighttime vehicle detection and tracking using spatial-temporal relation of vehicular components in various environmenmts including complex urban is proposed. In the proposed structure, layer-wise detection and tracking of components forming a vehicle are performed. Robustness of vehicle detection perfromance can be acquired by exploiting not only intra-layer relations of components but also inter-layer temporal relations. Due to lack of illumination, nighttime vehicle detection methods usually use taillights, which are relatively and distinctively observable, as major features. Conventional methods, however, based on symmetry of taillights frequently fail to detect vehicles in complex road environments such as urban, since the symmetry and color property are easily corrupted by headlights, reflections and occlusions in the environment. Furthermore, recent various and unusual design of taillights also becomes a hurdle for reliable taillight and vehicle detection. In this research, composing component levels of a vehicle are defiend as redlight, taillight, taillight pair, and vehicle levels. Through layer-wise detection and tracking of components, problems and inherent ambiguity caused in complex road environment are reduced to achieve performance enhancement. Additionally, referring structural information of the higher level can reduce errors. Furthermore, tracking performance can be enhanced by applying structural Kalman filter with relation between components which are built during higher level processing. Redlight detection and tracking is the first step of the proposed hierarchical structure. Redlights of various shape are detected robustly by using color properties of neighbouring regions of the lights. Relations for redlgiht tracking are linked in the taillight detection process. Failures in redlight detection are compensated with temporal information of the proposed system. A tailight with multi-light bulb and transformation in shape as time and distance changes are able to be dealt by the notion that a taillight is defined as a cluster of redlights. Physical distance between redlights is reflected by introducing PFCM (possibilistic fuzzy c-mean) clustering while embracing ambiguity in organizing taillight with redlights. Relational information for taillight tracking is generated in the taillight pairing step. CNN (convolutional neural netwrok) classifier is hired for the taillight pairing unlike conventional pairng methods exploiting symmetries of area, shape, etc. Since CNN classifier extract valid features by learning even with unstable illumination caused by headlights and other light sources, detection performance can be enhanced by applying the classifier. To be a final vehicle detection result, a candidate taillight pair should be detected for several frames consistently. At the same time, the candidate has to satisfy constraints: forbidding multiple vehicles sharing the same space or the same taillight. The performance of the proposed system is evaluated with various data sets taken in complicated road environments of urban and suburban regions. For quantitative comparison with previous methods, recall and precision for detection and CLEAR metric for tracking performance are evaluated. The detection and tracking results of the proposed system are presented for qualitative evaluation. Through the experiment, it is shown that the proposed system outperforms previous methods.
more