경량 딥러닝 특징 벡터 직교 융합을 이용한 근복사 이미지 검출 방법
Near-Duplicated Image Copy Detection based on Orthogonal Fusion of Lightweight Deep Learning Features
- 주제어 (키워드) 멀티미디어 , 근복사 이미지 검출 , 딥러닝 , 메트릭 학습 , 이미지 검색 , Multimedia , Near Duplicated Image Detection , Deep Learning , Metric Learning , Image Retrieval
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2023
- 학위수여년월 2023. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000070196
- UCI I804:11029-000000070196
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
최근 휴대용 촬영 기기의 보편화와 모바일 인터넷 기술의 발전으로 소셜 미디어의 인기가 급증하며 타인의 이미지를 무단으로 복제 및 편집하여 게재 하는 저작권 침해 행위가 증가하고 있다. 이러한 문제를 해결하기 위한 기존 근복사 이미지 검출 연구는 크롭, 대비와 같은 단순한 변형에 대해서만 다루 고 있어 복잡한 변형의 경우 검출에 실패하는 경우가 증가하고 있다. 혹은 복 잡한 변형을 다룰 경우 무거운 모델을 사용하며 학습 및 추론에 매우 많은 연 산량을 요구한다는 문제점이 있었다. 본 논문에서는 이러한 문제를 해결하기 위해 경량 딥러닝 모델인 MobileNet [1]을 백본으로 하며, 직교 융합 [2]을 사용하여 전역 및 지역 정보를 동시에 보존할 수 있는 특징 벡터 생성 방법을 제안한다. 제안 방법의 단점을 보강하기 위해 변형 별 검출 성능을 분석한 후, 수직 반전 계열의 변형을 보완할 수 있는 두 가지 특징 벡터 생성 방법을 추가로 제안한다. 온라인 메트릭 학습을 진행하여 각 근복사 이미지 검출 방 법들의 정확도와 모델 크기 및 검색 속도를 비교한다. 단순한 변형 위주의 Simulated 데이터셋과 복잡한 변형 위주의 DISC 데이터셋 [3]에 대한 실험을 통하여 성능을 평가하고 분석한다. DISC 데이터셋에 대해 microAP 기준 52.5% 의 이미지 복사 검출 성능을 얻었으며, 기존 연구 대비 정확도 면에서는 14% 떨어지지만, 모델 크기와 추론 시간 측면에서 각 10.3배, 4.2배로 효율적인 시스템 설계임을 확인했다.
more초록 (요약문)
With the recent generalization of portable photographing devices and the development of mobile Internet technology, the popularity of social media has soared, and copyright infringement activities of copying and editing images of others without permission are increasing. Existing near- duplicated image detection studies to solve this problem only deal with simple transforms such as crop and contrast, so detection is often unsuccessful for complex transforms. Or, when dealing with complex transforms, there is a problem that heavy models are used and very large computational quantities are required for training and inference. In this thesis, we propose a feature vector generation method that can simultaneously preserve global and local information using orthogonal fusion [2], using a lightweight deep learning model MobileNet [1]. To reinforce the shortcomings of the proposed method, we analyze the detection performance per transform, and then further propose two feature vector generation methods that can complement the weakness of the vertical flip family. We conduct online metric learning to compare and analyze the accuracy, model size, and search speed of each method. The performance is evaluated and analyzed through experiments Simulated dataset and DISC dataset [3]. We obtained 52.5% detection performance for DISC datasets, and confirmed that it is an efficient system design with 10.3 times model size and 4.2 times inference time compared to previous studies, although it is 14% less accurate.
more