유사 이미지 검색을 위한 Stable-diffusion 기반 비식별화 얼굴 이미지 생성 방법
A Stable-Diffusion-based De-Identified Face Image Generation Method for Similar Image Retrieval
- 주제어 (키워드) 미디어 플랫폼 , 비식별화 , 생성 모델 , 딥러닝; media platforms , de-identification , generative models , deep learning
- 발행기관 서강대학교 일반대학원
- 지도교수 낭종호
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/sogang/000000076884
- UCI I804:11029-000000076884
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록
미디어 플랫폼의 발전으로 변형된 영상에 대한 범죄가 늘어가고 있다. 범죄 예 방을 위해서 신원을 가리는 비식별화 처리 후 범죄 영상의 특징 정보 기반의 검색 차단을 하고 있다. 본 논문에서는 개인 정보 보호를 제공하는 유사 이미지 검색을 위한 Stable diffusion [1] 기반 비식별화 얼굴 이미지를 생성하고 생성한 이미지 에 대해서 원본 이미지의 특징 벡터와 유사해지는 비식별화 얼굴 생성 방법을 제 안한다. 제안한 방법에서는 inpainting 기법을 활용하여 원본 이미지의 정보는 최 대한 보존하고 기존 얼굴 이미지의 영역을 다른 신원의 얼굴로 생성한다. 새로 생 성된 비식별화 얼굴 이미지는 원본 이미지의 특징 벡터를 그대로 보존하여 유사 이미지 검색 분야에서의 성능은 보존되고 개인 정보 보호는 가능한 생성 방법으 로 원본 이미지와 비식별화 이미지 간의 생성은 Reconstruction loss로 학습하 고 특징 벡터 간의 거리는 Feature-similarity로 학습하면서 개인 정보를 보호하 고 특징 정보를 유지한다. 기존 모델 성능 대비 이미지 품질은 PSNR 20.43, SSIM 0.72 유지되었으며 Feature-similarity는 기존 모델 대비 0.02 상승하였다.
more초록
With the development of media platforms, the number of crimes committed against deformed videos is increasing. In order to prevent crimes, de-identification processing that masks the identity is performed to block the search based on the feature information of criminal images. In this thesis, we propose a de-identified face generation method based on stable diffusion [1] for similar image search that provides privacy protection and generates a de-identified face image that is similar to the feature vector of the original image. The proposed method utilizes the inpainting technique to preserve the information of the original image as much as possible and generate regions of the existing face image as faces of different identities. The newly generated de-identified face image preserves the feature vector of the original image, so that the performance in the field of similar image retrieval is preserved and privacy is preserved. The generation between the original image and the de-identified image is learned by reconstruction loss, and the distance between the feature vectors is learned by feature-similarity, while preserving privacy and maintaining feature information. Compared to the performance of the existing model, the image quality maintained PSNR 20.43 and SSIM 0.72, and the feature-similarity increased by 0.02 compared to the existing model.
more목차
1. 서론 1
2. 연구 배경 3
2.1 문제 정의 3
2.2 관련 연구 4
2.2.1 이미지 생성 모델 5
2.2.2 개인 정보 비식별화 연구 7
2.2.3 딥러닝 기반 이미지 검색 연구 10
2.3 기존 연구 적용시의 문제점 분석 12
3. Stable-diffusion 기반 비식별화 얼굴 이미지 생성 시스템 13
3.1 요구사항 분석 13
3.2 전체 시스템 구조 15
3.2.1 비식별화 얼굴 이미지 생성 방법 17
3.2.2 원본 이미지와 유사한 특징 벡터를 갖는 이미지 생성 방법 20
4. 실험 및 분석 23
4.1 실험 환경 및 데이터셋 23
4.2 실험 및 성능 분석 26
4.2.1 비식별화 얼굴 이미지 생성 성능 분석 26
4.2.2 특징 벡터 유사도 성능 분석 32
4.2.3 유사 이미지 검색 성능 분석 35
4.3 기존의 비식별화 연구와 비교 분석 38
5. 결론 및 향후 과제 39
6. 참고 문헌 41
