Quantization & Anonymization : Towards the Cost-Efficient and Privacy-Preserving Deep Learning
모델 양자화 및 데이터 익명화 기반 경량 심층 신경망 성능 향상 방법론
- 주제(키워드) Machine Learning , Deep Learning , Computer Vision , Model Quantization , Lightweight Deep Neural Networks , Differential Privacy , Generative Adversarial Networks , 기계 학습 , 심층 학습 , 영상 처리 , 모델 양자화 , 경량 심층 신경망 , 차분 프라이버시 , 적대적 생성 네트워크
- 발행기관 서강대학교 일반대학원
- 지도교수 양지훈
- 발행년도 2021
- 학위수여년월 2021. 8
- 학위명 박사
- 학과 및 전공 일반대학원 컴퓨터공학과
- UCI I804:11029-000000066024
- 본문언어 영어
- 저작권 서강대학교 논문은 저작권보호를 받습니다.
초록/요약
This research investigated algorithms and frameworks for cost-efficient and privacy-preserving deep learning in real world environments with limited computational resources. To enhance the performance of deep neural networks (DNNs) in mobile/IoT devices, we tackle existing problems of resource-driven DNNs in two aspects: 1) Reducing a model’s latency while maintaining accuracy and 2) Improving a model’s accuracy with appropriate training data. Model quantization, approximating the floating-point (FLOAT32) computation a model using fixed-point computation in lower-bits (FLOAT16, INT8, INT4), is widely used to reduce the latency of a model without serious accuracy drop. However, the actual amount of performance gain (accuracy-latency trade off) varies greatly depending on the network architecture. We proposed new optimization techniques for quantization-aware training (QAT) and proposed a quantization-friendly network architecture, FrostNet, that shows state-of-the-art performances in various computer vision tasks. While there is a strong positive correlation between the performance of DNN and the amount of training data, not all data can be released to the public because of the privacy issues. We proposed latent-space-level image anonymization techniques, PPAPNet and PPSGAN that preserve the privacy of individuals related to the image dataset without losing the usefulness of the entire set.
more초록/요약
본 논문은 모바일 및 IoT 장비와 같은 컴퓨팅 자원이 제한된 환경에서 심층 신경망의 성능을 최대화하기 위한 다양한 방법론에 관하여 연구하였다. 실생활에서의 심층 신경망 적용을 위해서는 기존의 자원 의존적 심층 신경망에 대한 개량이 필수적이다. 이를 위해 본 논문에서는 모델 양자화 기반의 심층 신경망 가속화 기법과 효과적인 데이터 익명화 기법을 제안하였다. 모델 양자화는 FLOAT32 기반의 심층 신경망 연산을 FLOAT16, INT8, INT4로 양자화 하여 연산 속도를 빠르게 하는 기법이다. 그러나, 기존의 양자화 기법에는 심층 신경망 구조에 따라 그 효율성이 크게 차이가 나는 문제가 존재한다. 이를 해결하기 위해 새로운 심층 신경망 학습 최적화 기법 및 양자화에 최적화된 심층 신경망 구조를 제안하였다. 또한, 심층 신경망의 성능은 학습에 사용된 데이터의 양과 질에 많은 영향을 받는다. 심층 신경망의 사용 목적에 적합한 양질의 데이터 확보를 위해서는 데이터 내에 포함된 개인 정보에 대한 적절한 익명화 처리가 우선되어야 한다. 이를 위해 본 논문에서는 잠재 공간에서의 이미지 데이터 익명화 기법을 제안하였다. 본 논문에서 제시한 방법론을 다양한 영상 처리 문제에 종합적으로 적용해 본 결과 기존 연구 대비 더 높은 성능 대 처리 속도 비율을 얻을 수 있었으며, 심층 신경망과 관련된 다양한 개인 정보 공격 역시 효과적으로 방어해 낼 수 있음을 확인하였다.
more