In this paper, we extend the Neural Tangent Kernel analysis to incorporate the Jacobian Regularisation, which includes additional term in the training objective. This additional regulariser forces the neural network to be flat around its training data, which makes the network to be robust against the adversarial attack. We first show that the Jacobian of neural network converges to the Gaussian Process jointly with the output as the widths of neural network tends to infinity, and characterise the kernel of this GP. We then show that the training under Jacobian regularisation is described by the inner products between the gradients of outputs and Jacobians with respect to the parameters, which we named this inner product as Jacobian Neural Tangent Kernel due to its similarity of NTK in literatures. We show that the properties of NTK also hold in JNTK, that at initialisation the JNTK converges to the deterministic asymptotic counterpart, and it stays constant during training if the width of neural network is sufficiently large. We finally prove that the Jacobian regularised training dynamics coincide with kernel regression with JNTK. Using this correspondence to kernel regression, we analyse how Jacobian regularised training enhances the robustness, and when is it possible
이 논문에서는 훈련 목표에 추가 항을 포함하는 야코비안 정규화로 신경 기울기 커널 분석을 확장합니다. 이 추가 정규화는 신경망이 훈련 데이터 주변에서 평평해지도록 강제하여, 신경망이 적대적 공격에 안전해지도 록 만듭니다. 먼저, 우리는 신경망의 너비가 무한대로 향할 때, 신경망의 야코비안이 출력과 함께 가우시안 확률 과정로 수렴한다는 것을 보이고, 이 확률과정의 핵을 계산했습니다. 그런 다음 야코비안 정규화 하 에서의 훈련이 출력과 야코비안의 매개변수에 대한 그래디언트끼리의 내적으로 설명되는 것을 보여줍니다. 이 내적이 문헌에서의 신경 기울기 커널과 유사성을 가져 야코비안 신경 기울기 커널이라고 명명했습니다. 기존의 신경 기울기 커널에서의 성질, 초기화 시점에서 야코비안 신경 기울기 커널이 결정적인 점근값으로 수렴하고, 신경망의 너비가 충분히 크면 훈련 중에 일정하게 유지된다는 성질이 야코비안 신경 기울기 커 널에서도 성립함을 보였습니다. 마지막으로, 야코비안 정규화 아래의 훈련 과정이 야코비안 신경 기울기 커널을 사용한 커널 회귀와 일치함을 증명합니다. 이 커널 회귀와의 대응을 통해, 야코비안 정규화 훈련이 어떻게 안전성을 강화하고 언제 강화가 가능한지를 분석합니다.
