CCTV동영상에서 보행자 이상행동 이벤트 검출을 위한 딥러닝 기반 통합 이상행동 분류 방법
Deep Learning-based Integrated Abnormal Behavior Classification Method for Detecting Pedestrian Abnormal Behavior Events in CCTV Videos
- 주제어 (키워드) CCTV , CNN , Deep Learning , Heatmap
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2022
- 학위수여년월 2022. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000066829
- UCI I804:11029-000000066829
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
인터넷의 발전과 개인의 재산과 안전 보장 욕구의 증가로 감시 영상 데이터가 폭증하고 있다. 감시 영상 데이터에서 중요한 작업 중 하나는 교통사고, 범죄와 같은 비정상적인 이벤트를 감지하는 것이다. 일반적으로 비정상적인 이벤트는 정상 이벤트보다 빈도가 적기에 노동력과 시간의 낭비를 줄이기 위하여 자동 영상 이상 감지를 위한 비전 알고리즘의 개발이 필요하다. 이러한 문제를 해결하기 위하여 비정상 이벤트를 검출하는 연구[2, 3, 4]들이 진행되어 왔지만 CCTV 동영상에서 다수의 사람들이 등장하거나 새로운 장소에서의 영상 대한 그들의 성과는 여전히 부족하다. 본 논문에서는 실용적이고 정확한 CCTV 보행자 이상행동 영상 분석을 위해 행동 인식을 이용한 CCTV 동영상 통합 이상행동 분류를 제안한다. 원시 이미지 입력의 경우엔 사람 객체 필터링 방법을 적용하고 Heatmap 표현 입력 각각을 이미지 단계와 특징 벡터 단계에서 병합하는 방법을 사용한다. 성능 검증을 위하여 CCTV 동영상 이상행동 데이터 클립을 대분류 기준 폭행 365개, 정상 393개, 실신 199개를 수집하였고 이를 각각 주먹질, 발길질, 서있기, 걷기, 쓰러짐의 소분류 클래스 201개, 164개, 174개, 219개, 199 개로 나누어 총 957개의 이상행동 클립 데이터를 생성하였다. 생성된 이상행동 클립 데이터에 대하여 행동 인식 기반 이상행동 분류 성능은 관절 연결 Heatmap표현과 3D CNN을 사용하였을 경우 0.84로 가장 높은 성능이 나왔고 원시 이미지 입력의 경우0.71의 성능을 보였다. 제안한 행동 기반 이상행동 분류 분석을 통해 CCTV 관제 실무자는 24시간 위험 상황에 대한 관제가 가능하다.
more초록
With the development of the Internet and an increase in personal property and security needs, surveillance video data is exploding. One of the important tasks in surveillance video data is to detect abnormal events such as traffic accidents and crimes. In general, abnormal events are less frequent than normal events, so it is necessary to develop a vision algorithm for automatic image abnormality detection in order to reduce waste of labor and time. To solve this problem, studies [2, 3, 4] for detecting abnormal events have been conducted, but a large number of people appear in CCTV videos or their performance on video in new places is still insufficient. In this thesis, we propose CCTV video integrated abnormal behavior classification using behavior recognition for practical and accurate CCTV pedestrian abnormal behavior image analysis. In the case of the raw image input, the human object filtering method is applied and the method of merging each of the heatmap expression inputs in the image stage and the feature vector stage is used. For performance verification, CCTV video abnormal behavior data clips were collected for each of the major categories: assault, 393, and syncope, and 199 sub-classes of punching, kicking, standing, walking, and falling. 201, 164, and 174, respectively. A total of 957 abnormal behavior clip data were generated by dividing it into 219 and 199 pieces. For the generated abnormal behavior clip data, the behavior recognition-based abnormal behavior classification performance was 0.84 when joint-connected heatmap expression and 3D CNN were used, showing the highest performance, and 0.71 in the case of raw image input. Through the proposed behavior-based abnormal behavior classification analysis, CCTV control practitioners can control dangerous situations 24 hours a day.
more