사건 단위 비디오 검색을 위한 키프레임 특징과 시간-의존적 특징 벡터를 융합한 비디오 특징 벡터 생성 방법
Method for Generating Video Feature Vector by Aggregation of Keyframe and Temporal Feature Vectors for Video Retrieval on an Incident Basis
- 주제어 (키워드) 멀티미디어 , 비디오 검색 , 시간적 특징 , 특징 융합 , CNN , 딥러닝 , Multimedia , Fine-grained Incident Video Retrieval , Temporal Feature , Feature Fusion , CNN , Deep Learning
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000066682
- UCI I804:11029-000000066682
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
최근 비디오 공유 플랫폼의 비약적인 성장으로 콘텐츠 기반 비디오 검색의 역할이 대두되고 있다. 우리는 유튜브와 같은 플랫폼에서 동일한 사건을 다룬 여러 형태의 비디오를 쉽게 발견할 수 있다. 이러한 동일 사건을 다룬 여러 형태의 비디오를 찾는 문제를 사건 단위 비디오 검색(FIVR)이라고 한다. 비디오는 공간적, 시간적인 요소로 나누어질 수 있다. 기존의 방법들은 비디오에서 독립적인 프레임으로 특징을 추출하기에 세그먼트의 시간-의존적인 정보를 상당히 소실시키는 문제가 있고 FIVR-5K 쿼리 비디오 중 절반 정도에서 인물이 등장한다. 따라서 본 논문에서는 사전 훈련된 행동 분류 네트워크를 기반으로 추출한 비디오 세그먼트가 가진 시간-의존적인 특징과 자기 지도 학습 방법으로 사전 훈련된 가중치로 추출한 키프레임의 공간적인 특징을 별도로 처리하는 트랜스포머 인코더 기반 Two-stream 융합 구조를 제안한다. 학습을 위해 VCDB 벤치마크를 이용한다. 제안한 방법은 FIVR-200K의 모든 작업에서 비디오 단위 표현을 이용한 State-of-the-art 사건 단위 비디오 검색 방법을 뛰어넘는 성능(~2% mAP)을 보여준다.
more초록 (요약문)
With the recent rapid growth of video sharing platforms, the role of content-based video retrieval has emerged. We can easily find several types of videos dealing with the same event on platforms such as YouTube. The problem of finding several types of videos dealing with these same events is called fine-grained incident video retrieval (FIVR). Video can be divided into spatial and tem-poral elements. Existing methods have the problem of significantly losing the segment's time-dependent information because they ex-tract features of independent frames from the video, and charac-ters appear in about half of the FIVR-5K query videos. Therefore, this paper proposes a transformer encoder-based two-stream fusion structure that separately processes the time-dependent features of video segments extracted based on pre-trained action classifica-tion network and the spatial features of keyframes extracted with pre-trained weights by self-supervised learning methods. VCDB benchmarks are used for learning. The proposed method shows per-formance (~2% mAP) beyond the State-of-the-art fine-grained inci-dent video retrieval method using video level representation in all tasks in FIVR-200K.
more