The wide adoption of deep neural networks (DNNs) in mission-critical applications has spurred the need for interpretable models that provide explanations of the model's decisions. Unfortunately, previous studies have demonstrated that model explanations facilitate information leakage, rendering DNN models vulnerable to model inversion attacks. These attacks enable the adversary to reconstruct original images based on model explanations, thus leaking privacy-sensitive features. To this end, we present Generative Noise Injector for Model Explanations (GNIME), a novel defense framework that perturbs model explanations to minimize the risk of model inversion attacks while preserving the interpretabilities of the generated explanations. Specifically, we formulate the defense training as a two-player minimax game between the inversion attack network on the one hand, which aims to invert model explanations, and the noise generator network on the other, which aims to inject perturbations to tamper with model inversion attacks. We demonstrate that GNIME significantly decreases the information leakage in model explanations, decreasing transferable classification accuracy in facial recognition models by up to 84.8% while preserving the original functionality of model explanations.
중대한 결정에 인공지능이 광범위하게 채택되면서 자신의 결정에 대한 설명을 제공하는 해석 가능한 인공지능의 필요성이 높아졌다. 안타깝게도 모델 설명을 공개하는 것은 정보 유출을 촉진하여 인공지능 모델이 모델 전도 공격(Model Inversion Attack)에 취약해진다는 것이 최근 연구를 통해 입증되었다. 공격자는 공개된 모델 설명을 기반으로 원본 이미지를 보다 정확히 복원해낼 수 있게되어 민감한 정보가 유출될 수 있다. 본 연구는 모델 설명의 해석 가능성을 유지하면서 전도 공격의 위험을 최소화하기 위해 모델 설명을 교란하는 새로운 방어 프레임워크인 GNIME(Generative Noise Injector for Model Explanations)을 제시한다. 해당 기법은 최적의 노이즈를 주입하는 모델을 학습하기 위해 방어자인 노이즈 생성기와 공격자인 전도 모델을 최소극대화 시나리오를 통해 경쟁적으로 학습시킨다. 실험을 통해 GNIME이 원본 모델 설명의 기능을 유지하면서도 정보 유출을 크게 줄여 얼굴 인식 모델에서 전이 분류 정확도(Transferable Classification Accuracy)를 최대 84.8%까지 감소시킬 수 있음을 확인했다.
