This paper proposed a new high-performant differentially private machine learning framework. It reduces the overall memory usage and increases training throughput while providing a mathematically same result. The proposed framework consisted of two major components, which are example-wise weight gradients computation and adaptive clipping. By implementing an end-to-end DP-SGD framework which utilizes these components, it is shown that a new framework can reduces the memory usage and increases training throughput.
이 논문에서는 차등 정보보호 머신 러닝을 위한 고성능 프레임워크 설계를 다루었다. 기존의 구현과 수학적으로 동일한 결과를 보장하면서, 메모리 사용량을 줄이고 전체 학습 성능을 증가시키는 방안을 제시하였다. 제안하는 프레임워크의 구성 요소는 크게 두 가지로, 첫째, 레이어 단위로 모델 파라미터의 경사도를 계산하는 기존의 방법과 달리 배치 내의 각 예시 단위로 파라미터의 경사도를 계산하는 방법, 둘째, 레이어 단위로 다른 절삭 방식을 사용하는 적응형 절삭을 제안하였다. 이들을 적용한 실제 학습이 가능한 프레임워크를 구현하여 그 성능을 살펴보았으며, 실제로 기존의 구현보다 더 높은 학습 성능을 보임을 확인하였다.
