Inverted File 인덱스와 GPU상에서 Temporal Network 검색 병렬화를 통한 근-복사 비디오 검색 고속화
Acceleration of Partial Video-Copy Detection using Inverted File Index and Parallelized Searching of Temporal Network on GPU
- 주제(키워드) 근-복사 비디오 검출 , 부분 복사 , Inverted File 인덱스 , 병렬화 , Near-Duplicate Video Detection , Partial-Copy , Inverted File Index , Parallelization
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2020
- 학위수여년월 2020. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- UCI I804:11029-000000065334
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
최근 멀티미디어 컨텐츠 플랫폼을 주축으로 미디어 콘텐츠의 수요가 급증하고 있의며, 비디오 저작권을 침해한 근-복사 비디오도 점차 증가하고 있다. 본 논문에서는 대규모 비디오 데이터베이스에서 질의 비디오의 근-복사 비디오를 빠른 시간에 검출을 위한 기법으로 Inverted File 인덱스를 이용한 유사 프레임 검색 범위 축소 방법과, 검색된 유사 프레임의 시간적 배치 여부를 위한 Temporal Network(TN)[1] 경로 검색을 GPU를 이용하여 병렬화 하는 방법을 제안한다. 제안한 Inverted File 인덱스를 이용한 검색 범위 축소 방법에서는 참조 비디오의 키 프레임들을 추출하고 K-평균 군집화를 통해 K개의 visual 워드로 구성한다. 또한, visual 워드로부터 L2 distance를 계산하여 Fingerprints를 가장 가까운 visual 워드에 매칭시킨다. 최종적으로, 생성된 visual 워드와 매칭된 Fingerprints를 통해 Inverted File 인덱스를 구성한다. 제안한 Temporal Network 병렬화 방법에서는 최대 유사도를 가지는 경로를 찾기 위해 유사 프레임들을 포함하는 경로를 여러 GPU SM에 할당해서 할당된 경로의 유효성을 병렬적으로 검증한다. 유튜브를 기반으로 수집한 근-복사 비디오 검출 데이터 셋인 VCDB[2]를 이용하여 제안한 방법들의 실험을 진행하였다. 질의 비디오 유사 프레임으로 구성된 Temporal Network상에서의 경로를 순차적으로 검색하는 기존 방법에 비하여 본 논문에서 제안한 방법은 정확도가 4% 감소했지만, 검색 시간이 평균 93배 고속화 되었다.
more초록/요약
Recently, the demand for media content is rapidly increasing, mainly based on the multimedia content platform, and near-duplicate video that infringes on video copyright is also gradually increasing. In this thesis, as a technique for the quick detection of the near-duplicate video of query video in these large video databases, the method of reducing the search space of similar frames using Inverted File Index, and the method of parallelizing the search of the Temporal Network([1] path using GPU for the temporal alignment of similar frames searched are proposed. In the proposed method of reducing search space using Inverted File Index, the key frames of the reference video are extracted and organized into K visual words through K-means clustering. Also, Fingerprints are matched to the nearest word through calculation of L2 distance from visual word. Finally, an Inverted File index is constructed through fingerprints matching with the generated visual words. The proposed Temporal Network parallelization method verifies the validity of allocated paths in parallel by allocating paths containing similar frames to multiple GPU SMs to find the path with the maximum similarity. We experimented with the proposed methods using VCDB[2], a set of near-duplicate video detection data collected based on YouTube. Compared to the existing method of sequentially searching the path on the Temporal Network composed of query video-like frames, the method proposed in this paper has reduced accuracy by 4%, but the search time has been increased by 93 times on average.
more