검색 상세

A Study on Robust Face Recognition with Aging, Mark and Occlusion Reconstruction

노화, 마크 및 가려짐에 강인한 얼굴 인식에 관한 연구

초록/요약

The age and occlusion-invariant face recognition (AOIFR) methods are relatively new research topics in the face recognition domain which have recently gained a substantial attention due to their great potential and importance in real-world applications. However, the AOIFR is still in the process of emergence and development, offering a large room for further investigation and accuracy improvement. The key challenges in the AOIFR are considerable changes of appearance of facial skin (wrinkles, jaw lines), facial shape, and skin tone appearing in combination with the variations of pose and illumination. These challenges impose limitations on the current AOIFR systems and complicate the recognition task for identity verification especially for temporal variation. In order to address this problem, we need a temporally invariant face verification system that would be robust vis-à-vis several factors, such as aging (shape, texture), occlusion (mask, scarf, and sunglasses), pose, and illumination. In this study, we present a 3D gender-specific aging model that is robust to aging and pose variations and provides better recognition performance than the conventional state-of-the-art aging-invariant face recognition (AIFR) systems. The gender-specific age modeling is performed in a 3D domain from 2D facial images of various datasets, such as PCSO, BROWNS, Celebrities, Private, and FG-NET. The evaluation of the proposed approach is performed on FG-NET (the most referred database in the AIFR studies) and MORPH-Album2 (the largest aging database) by using the VGG face CNN descriptor for matching. In addition, we also test the effect of the LDA subspace learning and principle component analysis (PCA) in our face recognition experiments. The proposed age-invariant face recognition system is evaluated both on the pose-corrected and background composited age-simulated images. The experimental results demonstrate that the proposed system provides the state-of-the-art performance on FG-NET (83.89% of rank-1, 43.24% of TAR) and a comparable performance to the state-of the-art on MORPH-Album2 (75.27% of rank-1, 96.93% of TAR). Facial mark based face recognition performance is improved from baseline on a very unconstrained IJB-A dataset by score-level fusion with VGG based CNN approach. There is 2.31% and roughly 1% improvement in TAR and Rank-1 accuracy, respectively. The facial occlusion reconstruction is performed for various types of occlusions such as sunglasses, hat, hair, mask and scarf. The occlusion-invariant face recognition performance is evaluated on SGDB and celebrity datasets. The evidence of usefulness of occlusion reconstruction is made by evaluating the face recognition accuracy for before and after occlusion reconstruction. The FR performance is roughly 16% improved for various types of occlusion reconstruction by using occlusion-specific GAN models. In order to benefit from both the matching schemes such as before and after occlusion reconstruction, we performed LDA subspace learning and performed the score-level fusion. The FR accuracy is compared with state-of-the-art AIFR methods.

more

초록/요약

노화, 마크 및 가려짐에 강인한 얼굴 인식 방법(AOIFR)은 비교적 새로운 연구 주제로 최근 실제 응용 분야에서 큰 잠재력과 중요성으로 인해 상당한 주목을 받고 있다. 하지만 이러한 연구는 얼굴 인식 분야에서 초기 단계에 있으며 정확성 향상을 위하여 많은 연구가 필요한 상태이다. AOIFR의 주요 과제는 얼굴 피부 (주름, 턱선), 얼굴 모양, 포즈 및 조명의 변화와 함께 나타나는 피부 색조 등의 변화에 강인한 얼굴인식 방법을 찾아내는 것이다. 그러한 얼굴 인식 기술은 노화 (모양, 질감), 폐색 (마스크, 스카프 및 선글라스), 포즈 및 조명과 같은 여러 가지 변화 요인에 대하여 강인함을 보일 것으로 기대된다. 본 논문에서 우리는 기존의 최신 노화 불변 얼굴 인식 (AIFR) 시스템보다 노화 및 포즈 변화에 강하고 더 나은 인식 성능을 제공하는 3D 기반의 성별 특성을 이용하는 노화 모델을 제시한다. 성별에 따른 노화 모델링은 PCSO, BROWNS, 유명 인사, 개인 및 FG-NET과 같은 다양한 데이터 세트의 2D 얼굴 이미지를 이용하여 3D 도메인에서 수행하였다. 제안 된 방법의 평가는 VGG face CNN 디스크립터를 사용하여 FG-NET (노화 불변 얼굴 인식 연구에서 가장 많이 참조되는 데이터베이스) 및 MORPH-Album2 (가장 큰 얼굴 노화 데이터베이스)를 이용하여 수행하였다. 또한 LDA와 PCA 분석을 통하여 피처 들의 학습에 기반을 둔 얼굴 인식 실험도 진행하였다. 제안된 얼굴 인식 시스템은 자세 보정 및 배경 합성과 결합된 노화 예측 이미지를 이용하여 평가되었다. 제안 된 시스템은 FG-NET에서 최첨단 성능(Rank-1 83.89%, TAR 43.24%)을 보였으며 MORPH-Album2에서 세계 최고 성능과 유사한 성능(Rank-1 75.27%, TAR 96.93%)을 보이는 것으로 나타났다. 얼굴 마크 기반 얼굴 인식은 얼굴에 나타나는 개별적은 마크 특성을 이용하여 얼굴 인식 성능을 향상시키려는 시도로, VGG 기반 CNN 방식의 얼굴 인식 방법과 융합함으로써 IJB-A 데이터 세트에서 성능 향상을 보였다. 성능 향상의 정도는 TAR과 Rank-1 인식 정확도에서 각각 2.31%와 1%로 나타났다. 안면 폐색 복원은 얼굴의 가려진 부분을 복원함으로써 얼굴 인식 성능의 향상을 얻으려는 시도이며, 선글라스, 모자, 헤어, 마스크 및 스카프와 같은 다양한 유형의 폐색에 대하여 수행되었다. 폐색 불변 얼굴 인식 성능은 SGDB 및 유명인 데이터 세트를 이용하여 평가하였다. 폐색 복원 성능 평가는 폐색 복원 전후의 얼굴 인식 정확도를 비교하는 방식으로 진행되었다. 가려진 얼굴 복원은 GAN 모델을 사용하여 수행하였으며, 얼굴 복원 후의 인식 성능은 약 16 % 향상되는 것으로 나타났다. 또한 얼굴 가려짐 복원을 통한 얼굴 인식 성능의 유용성을 검증하기 위하여 가려진 얼굴 데이터를 복원하지 않고 LDA 학습을 수행하여 인식하는 방법과 비교하였다.

more
반출 Meta View 목록