CCTV 동영상에서 보행자 검색을 위한 패션 정보를 활용한 CNN 기반 보행자 특징 정보 생성 방법
A CNN-based Pedestrian Feature Vector Generation Method using Pedestrian Fashion Information for Pedestrian Search in CCTV Video
초록/요약
최근 영상처리 기술의 발전으로 지능형 영상분석 시스템이 실생활에서 많이 사용되고 있다. 최근에는 이와 관련된 전체 이미지에서 보행자를 검출하고, 재식별까지 이루어지는 보행자 검색 (Person search) 연구가 활발히 진행되고 있다. 보행자 검색에 관한 기존 연구는 보행자의 포즈(pose), 신체 영역을 등분하여 특징을 추출하는 연구가 주로 이루어져왔다. 그러나 보행자가 입은 옷에 대한 특징 벡터를 재식별 특징을 함께 융합 방법을 사용하여 검색의 정확도를 높이는 연구는 아직 진행되지 않은 상황이다. 본 논문에서는 CCTV 동영상에서 보행자 검색의 정확성을 높일 수 있는 CNN 기반 패션 정보 특징 활용 방법을 제안 및 다양한 실험을 통하여 유용성을 검증한다. 제안한 방법에서는 추출한 보행자 재식별에 대한 특징 벡터와 패션 속성 특징 벡터를 어텐션 메커니즘 기반의 융합 방법, 재순위화 방법을 사용한다. 융합 방법의 경우, 보행자 영역 중에서 옷의 영역에 특징의 값이 커지도록 어텐션 메커니즘을 사용한다. 본 논문에서 제안한 방법에 대한 학습 및 검증을 위해 보행자 검색 연구 데이터인 CUHK-SYSU Dataset [1]와 PRW Dataset [2]을 사용하였다. 두 데이터에 대한 보행자 검색 성능은 어텐션 메커니즘을 사용한 보행자 재식별 특징과 보행자 의류 특징을 융합했을 때 가장 높은 성능이 나온 것을 보였으며, 각각 CUHK-SYSU Dataset [1]의 경우 어텐션 메커니즘을 사용하였을 때 Top-1에 대해 2.2%, 재순위화를 하였을 때 0.8%의 성능 향상을 보였으며, PRW Dataset [2]의 경우, 각각 1.9%, 0.5%의 성능이 향상되었다.
more초록/요약
With the development of video processing technology, several intelligent video analysis systems are used a lot in real life. Recently, a problem of pedestrian search that detects pedestrians from the entire image and re-identifies them is a new task and it has been actively studied. Existing researches on pedestrian research have mainly been studied to extract features by pedestrian’s pose or divide pedestrian’s body part. However, there is no research to improve the accuracy of pedestrian search by using the feature of pedestrian’s clothes, which is important information for pedestrian search yet. In this thesis, we propose a method to using CNN-based fashion information features to improve the accuracy of pedestrian search in CCTV videos and verify its usefulness through various experiments. In the proposed method, we fuse with attention mechanism and re-ranking the extracted feature of pedestrian re-identification and pedestrian fashion information. In the case of the fusion Method, Attention mechanism is used to increase the value of the feature in pedestrian’s clothes area. We used CUHK-SYSU Dataset [1] and PRW Dataset [2] to train and verify the proposed method. We obtained high performance using fusion with attention mechanism. For CUHK-SYSU Dataset [1], the performance improvement is 2.2% for Top-1. For PRW Dataset [2], the performance improvement is 1.9% and 0.5% respectively.
more