개인 정보 보호 및 유사 이미지 검색을 위한 딥러닝 기반 비식별화 얼굴 이미지 생성 방법
Generating Face De-Identification Image with Deep Learning for Protection of Personal Data and Similar Image Retrieval
- 주제어 (키워드) 멀티미디어 , 비식별화 , 모자이크 , 생산적 적대 신경망 , 특징 벡터 , 이미지 검색 , 딥러닝 , 디지털 성범죄 , 생성 모델 , Multimedia , De-Identification , mosaic , GAN , Feature Vector , Image Retrieval , Deep Learning , Digital Sexual Assault , Generative Model
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2022
- 학위수여년월 2022. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000066844
- UCI I804:11029-000000066844
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
기술과 네트워크의 발전에 따라 멀티미디어 컨텐츠 공유 플랫폼의 수가 급격히 증가하고, 소형화 기기의 기술 또한 발전됨에 따라 피사체의 동의와 상관없는 영상물의 유포 문제가 증가하여 디지털 성범죄가 국내에서 증가하고 있다. 멀티미디어 속 개인 정보를 비식별화 할 수 있는 연구들이 진행되고 있는데 기존의 연구들은 비식별화에 초점이 맞추어져 있다. 따라서 디지털 성범죄 영상의 유출, 2차 가해 예방을 위한 비교, 식별에는 문제가 생기게 된다. 본 논문에서는 디지털 성범죄 예방을 위한 이미지 비식별화 이미지 생성 네트워크 및 이미지 특징 벡터 추출 네트워크를 제안한다. 제안하는 방법은 총 두 가지로 전체 이미지 생성 방식의 비식별화 이미지 생성 방법과 얼굴 이미지 생성 방식의 비식별화 이미지 생성 방법이다. 제안한 방법에 따라 네트워크의 학습 설계를 다르게 하였으며, 두 방법 원본 이미지 특징벡터와 비식별화 이미지 특징벡터와의 거리를 최소화하기 위하여 triplet[2]을 사용하여 학습했다. 본 논문에서 학습을 위한 데이터셋은 Wider-face[3]와 mscoco dataset[4]에서 식별이 가능한 얼굴을 추출하여 사용하였으며, 평가를 위한 데이터셋은 VCDB[5]에서 프레임을 추출하여 사용하였다. 실험 결과로 Residual Blocks를 사용하지 않은 얼굴 이미지 생성 방식의 비식별화 네트워크가 SSIM 0.298, 이미지 검색 평균 랭킹 1.07, 재현율 0.95, 이미지 특징 벡터 평균 거리 0.077을 보였다.
more초록
With the development of technology and networks, the number of multimedia content sharing platforms rapidly increases, and the technology of miniaturized devices also develops, increasing the distribution of videos regardless of the subject's consent, increasing digital sex crimes in Korea. Studies that can de-identify personal information in multimedia are being conducted, and existing studies focus on de-identification. Therefore, there is a problem in comparing and identifying digital sex crime videos to prevent leakage and secondary harm. In this paper, we propose an image de-identification image generation network and an image feature vector extraction network to prevent digital sex crimes. There are a total of two proposed methods: the de-identification image generation method of the entire image generation method and the de-identification image generation method of the face image generation method. We vary the learning design of the network according to the proposed method, and we learn using triplet[2] to minimize the distance between the two methods original image feature vectors and the de-identification image feature vectors. In this paper, the dataset for learning was extracted and used identifiable faces from Wider-face[3] and mscoco dataset[4], and the dataset for evaluation extracted frames from VCDB[5]. Experimental results show that the de-identification network of facial image generation without Residual Blocks showed SSIM 0.298, image search average ranking 1.07, precision 0.95 and average image feature vector distance 0.077.
more