검색 상세

대규모 CCTV 환경에서 딥러닝 포즈 히트맵 표현을 활용한 Edge 기반 동영상 이상행동 검출 시스템

Edge-based Video Anomaly Detection System using Deep Learning Pose Heatmap Representation in Large-Scale CCTV Environment

초록 (요약문)

CCTV 증가로 모니터링 인력의 부담이 커지고, 이를 해결하기 위해 지능형 CCTV 와 딥러닝 분석 모델이 도입되고 있다. Edge 컴퓨팅은 확장성이 높으나 정밀도가 낮고, GPU 서버 기반 플랫폼은 정밀도가 높지만 효율성과 확장성에서 한계를 가진다. 본 연구에서는 이러한 문제를 해결하기 위한 대규모 CCTV 환경을 위한 딥러닝 포즈 히트맵 표현을 활용한 edge 기반 동영상 이상행동 검출 시스템을 제안한다. 제안하는 시스템은 동영상 스트림을 입력 받아 edge 에서 이상행동을 분석 후 검출되면 통합 제어 서버를 통해 GPU 서버에서 자세한 분석을 하는 형태의 분석 구조를 가진다. 제안하는 동영상 이상행동 분석 방법은 본 논문에서 제안하는 포즈 히트맵 표현을 활용한 시공간적 동영상 이상행동 분석 방법을 사용한다. 제안하는 이진 동영상 이상행동 검출 방법과 다중 클래스 동영상 이상행동 검출 방법에 대해 여러 데이터셋으로 평가하며, 실험을 통해 제안하는 동영상 이상행동 검출 방법이 기존 연구의 성능 대비 우수한 결과를 보이는 것을 확인할 수 있다. 또한 제안한 시스템을 평가 및 비교하기 위해 실험 환경을 구축하고 시스템의 처리량, 지연시간 등을 측정하고 기존 연구와 비교를 통해 제안하는 시스템의 효율성과 확장성 면에서 뛰어난 것을 확인할 수 있다. 이러한 실험을 통해 본 논문에서 제안한 동영상 이상행동 검출 방법과 시스템은 기존 동영상 이상행동 검출 방법보다 우수하고 기존 edge 컴퓨팅과 GPU 서버 기반의 플랫폼보다 효율적이고 확장성 있다는 것을 증명했다. 따라서 제안하는 시스템이 미래 도시의 시민 안전을 확보하는데 기여할 수 있고 공공 안전 기술 발전과 보행자의 생활안전을 향상시키는데 기여할 것으로 기대한다.

more

초록 (요약문)

The increase in CCTV is straining monitoring personnel, and intelligent CCTV and deep learning analytics models are being introduced to address this. Edge computing is highly scalable but not precise, and GPU server- based platforms are precise but limited in efficiency and scalability. In this study, we propose an edge-based video anomaly detection system using deep learning pose heatmap representation for large-scale CCTV environments to solve these problems. The proposed system has an analysis structure that receives video streams as input, analyzes abnormal behavior at the edge, and performs detailed analysis on the GPU server through the integrated control server once detected. The proposed video anomaly analysis method uses the spatiotemporal video anomaly analysis method using the pose heatmap representation proposed in this paper. The proposed binary video anomaly detection method and multi-class video anomaly detection method are evaluated with multiple datasets, and experiments show that the proposed video anomaly detection method outperforms the performance of existing studies. In addition, an experimental environment is built to evaluate and compare the proposed system, and the system's throughput, latency, etc., are measured and compared with existing research, and it can be seen that proposed system is superior in terms of efficiency and scalability. Through these experiments, we have proved that the video anomaly detection method and system proposed in this paper are superior to existing video anomaly detection methods and more efficient and scalable than edge computing and GPU server-based platforms. Therefore, the proposed system can contribute to securing citizen safety in future cities, contribute to the development of public safety technology, and improve the safety of pedestrians.

more

목차

제 1 장 서론 1
제 2 장 관련 연구 3
제 1 절 동영상 이상행동 검출 방법 3
2.1.1 동영상 이상행동 검출 데이터셋 3
2.1.2 동영상 이상행동 검출 방법 7
2.1.3 기존 동영상 이상행동 검출 방법의 문제점 13
제 2 절 동영상 분석 시스템 14
2.2.1 Edge 컴퓨팅 환경의 동영상 분석 시스템 14
2.2.2 기존 Edge 컴퓨팅 환경의 동영상 분석 시스템의 문제점 15
2.2.3 기존 GPU 서버 환경의 플랫폼의 동영상 분석 시스템 16
2.2.4 기존 GPU 서버 환경의 플랫폼의 동영상 분석 시스템의 문제점 17
제 3 장 딥러닝 포즈 히트맵 표현을 활용한 Edge 기반 동영상 이상행동 검출 시스템 18
제 1 절 연구 동기 18
제 2 절 포즈 히트맵 표현을 활용한 동영상 이상행동 검출 방법 19
3.2.1 주야간 CCTV 환경 및 포즈 히트맵 표현의 품질 향상을 위한 객체 검출 방법 20
3.2.2 동영상 이상행동 검출을 위한 포즈 히트맵 표현 생성 방법 23
3.2.3 포즈 히트맵 표현을 활용한 이진 동영상 이상행동 검출 방법 27
3.2.4 포즈 히트맵 표현을 활용한 다중 클래스 동영상 이상행동 검출 방법 30
제 3 절 Edge 기반 동영상 이상행동 검출 시스템 32
3.3.1 Edge 기반 동영상 이상행동 검출 시스템 개요 32
3.3.2 Edge 분석 모듈 설계 35
3.3.3 GPU 서버 분석 모듈 설계 37
제 4 장 실험 38
제 1 절 데이터셋 38
4.1.1 주야간 CCTV 환경 및 포즈 히트맵 표현의 품질 향상을 위한 객체 검출 방법을 위한 학습 데이터셋 38
4.1.2 이진 동영상 이상행동 검출 데이터셋 40
4.1.3 다중 클래스 동영상 이상행동 검출 데이터셋 42
제 2 절 구현 및 실험 환경 44
제 3 절 평가 지표 47
4.3.1 주야간 CCTV 환경 및 포즈 히트맵 표현의 품질 향상을 위한 객체 검출 방법의 평가 지표 47
4.3.2 이진 동영상 이상행동 검출 방법의 평가지표 48
4.3.3 다중 클래스 동영상 이상행동 검출 방법의 평가 지표 49
제 5 장 실험 결과 및 분석 51
제 1 절 포즈 히트맵 표현을 활용한 동영상 이상행동 검출 방법 실험 결과 51
5.1.1 객체 검출 모델 학습 결과 51
5.1.2 포즈 히트맵 표현을 활용한 이진 동영상 이상행동 검출 방법 실험 결과 54
5.1.3 포즈 히트맵 표현을 활용한 자기지도 학습 기반 다중 클래스 동영상 이상행동 검출 방법 실험 결과 58
제 2 절 제안하는 시스템의 효율성 및 확장성 및 평가 64
5.2.1 제안하는 시스템과 유사한 환경의 기존 연구와 주요 지표 비교 64
5.2.2 제안하는 시스템의 구간별 지연시간 비교를 통한 효율성 평가 65
5.2.3 제안하는 시스템의 처리량 비교 평가 68
제 6 장 결론 71
참고문헌 73

more