검색 상세

클래스활성화 지도를 이용한 블랙박스 희소공격의 쿼리 횟수 경량화

Query Efficient Black-box Sparse Attack Methods Using Class Activation Maps

초록 (요약문)

현대사회에서 딥러닝 기술은 컴퓨터 비전, 추천 시스템, 자연어 처리, 음성 처리 등 다양한 분야에서 사용되고 있다. 특히 컴퓨터비전 분야에서는 자율주행, CCTV, 군사, 위성 등의 다양한 곳에서 딥러닝 기술을 적용하고 있다. 따라서 모델의 잘못된 의사결정은 사회에 큰 문제를 야기할 수 있다. 딥러닝 기술에 이용되는 신경망 모델은 적대적인 공격에 노출될 수 있으며, 이러한 적대적공격의 종류는 매우 다양하다. 신경망의 파라미터를 고려하지 않는 블랙박스 공격과 이미지에 대해서 적은 개수의 픽셀만을 공격하는 희소 공격은 연구가 많이 진행되지 않았다. 이 공격방식은 공격에 이용되는 노이즈의 개수와 모델에 대한 정보가 제한된다. 따라서 모델을 교란시키기 위해서 노이즈의 분포에 따른 모델의 출력 값을 요구하는 쿼리의 횟수가 매우 크다. 블랙박스 적대적공격을 방어하기 위해서 가장 쉬운 방법은 쿼리횟수의 제한을 두는 것이다. 블랙박스 희소공격의 기존 연구 중, Corner Search는 공격을 성공시키는 데 필요한 섭동의 개수가 매우 작다는 장점이 있지만, 쿼리의 횟수가 매우 크다는 단점이 있다. 본 논문은 블랙박스 희소공격에 대한 기존의 연구 중, Corner Search 공격의 쿼리 횟수를 50~70%가량을 줄인 Cam-Corner Search 공격방법을 제안한다. Cam-Corner Search는 one-pixel perturbation 단계에서 클래스 활성화 지도를 이용한 공격영역제한과 multi-pixel modifications 단계에서 알고리즘 경량화를 통해서 평균 섭동의 개수와 공격성공률과 같은 기존 성능의 감소를 최소화하면서 쿼리의 횟수를 줄였다. 또한 클래스 활성화 지도를 이용한 공격영역제한을 통해서 쿼리횟수를 감소시킬 때, 여러 대체모델의 클래스 활성화 값을 앙상블 하면 공격성공률 감소가 완화되는 것을 확인하였다.

more

초록 (요약문)

In modern society, deep learning technology is used in various fields such as computer vision, recommendation system, natural language processing, and voice processing. In particular, in the field of computer vision, deep learning technology is applied in various places such as autonomous driving, CCTV, military, and satellite. Therefore, the wrong decision-making of the model can cause great problems for society. Neural network models used in deep learning techniques can be exposed to adversarial attacks, and the types of such adversarial attacks vary widely. Few Studies has been conducted on black box attacks that attack without knowing the parameter information of neural networks and sparse attacks that attack only a small number of pixels on images. This attack method limits the amount of noise used in the attack and information on the model. Therefore, in order to disturb the model, the number of queries requiring the model's output value according to the noise distribution is very large. The easiest way to defend against black box adversarial attacks is to limit the number of queries. Among the existing studies of black box sparse attacks, Corner Search has the advantage of having a very small number of perturbations required to succeed in an attack but has the disadvantage of having a very large number of queries. This thesis proposes a Cam-Corner Search attack method that reduces the number of queries of Corner Search attack, which is an existing black box sparse attack method, by 50~70%. Cam-Corner Search reduces the number of queries while minimizing the decrease in performance such as average perturbation count and attack success rates by limiting attack areas using class activation maps in one-pixel perturbation step and lightweight algorithms in multi-pixel modifications step. In addition, when the number of queries is reduced through the limitation of the attack area using the class activation map, it is confirmed that ensembling the class activation values of several alternative models alleviates the reduction in the attack success rate.

more