얼굴 특징점과 GAN을 이용한 얼굴 복원에 관한 연구
A Study on Facial Landmark and GAN Based Face De-occlusion
- 발행기관 서강대학교 일반대학원
- 지도교수 박운상
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제 URI http://www.dcollection.net/handler/sogang/000000066510
- UCI I804:11029-000000066510
- 본문언어 한국어
- 저작권 서강대학교 논문은 저작권 보호를 받습니다.
초록 (요약문)
최근 다양한 산업 분야에서 머신 비전 기술을 적용한 분류 및 인식에 대한 연구가 활발히 진행되고 있다. 다양한 분야 중 얼굴인식에 관한 연구는 휴대폰 잠금 해제, 범죄 식별 및 가정 보안시스템과 같은 많은 응용프로그램에서 널리 사용된다. 하지만 얼굴인식의 경우 실제 상황에서는 마스크, 선글라스, 목도리, 모자 등 다양한 가려짐 물체에 얼굴이 가려져서 정확한 얼굴인식이 어려운 상황이다. 이때문에 실제 상황에서 얼굴인식을 하기 위해서는 가려짐이 없는 얼굴을 예측한 데이터를 이용해야한다. 본 논문에서는 현재 COVID-19 상황에서 필수로 요구되는 마스크로 얼굴이 가려진 상황에서 마스크가 없는 얼굴로 복원하는 연구를 진행하였다. 하지만 현실적으로 마스크를 착용한 얼굴에서 원본 얼굴의 데이터를 확보하기 어렵다. 이를 해결하기 위해 마스크를 착용한 얼굴 이미지를 대신하여 마스크를 착용할 수 있는 영역을 삭제한 이미지 데이터를 훈련 데이터로 활용하였다. 본 논문은 딥러닝 기반의 적대적 생성 신경망(Generative Adversarial Network)을 이용한 얼굴 복원기 모델과 정밀한 얼굴 복원을 위해 얼굴 특징점을 사용하는 방법을 제안한다. 실험 결과, 제안하는 방법이 얼굴 복원과 인식에 도움이 됨을 알 수 있다.
more초록 (요약문)
Recently, research on classification and recognition using machine vision technology has advanced the state-of-the-art in various industrial fields. At the same time, facial recognition research is widely used in many applications such as unlocking mobile phones, identifying criminals and home security systems. However, in the case of face recognition, it is difficult to accurately recognize a face in real situations because the face is occluded with various objects such as masks, sunglasses, scarves, and hats. For this reason, to perform face recognition in a real situation, techniques are required to reconstruct the occluded facial area. This paper deals with the study of restoring masked face in a situation where the face is occluded with a mask, which is essential in the current COVID-19 situation. However, it is difficult to obtain original face data from a face wearing a mask. To solve this problem, image data are partially deleted for the area corresponding to the mask and used as training data instead of the real mask-wearing face images. In this paper, we propose a face reconstruction model using a deep learning-based generative adversarial network and a method using facial feature points for precise face reconstruction. Experimental results showed the effectiveness of the proposed method.
more