Recent studies and applications in machine learning shows that neural network using gradient descent-based methods suits the need in many cases. Especially, there have been many researches which talks about the importance of choosing a loss function, when using such methods. While there also have been studies which accepted the concept of meta-learning and substituted the loss function with a computational graph or a neural network, they didn’t question about the necessity of the loss function if they were to be replaced. This paper first looks the structural properties of neural networks. Also, the paper rethinks the role of loss function in neural networks, then gives an idea and method of learning the derivative of the loss function, and finally shows some experimental results on regression.
최근 경사하강법을 이용한 인공신경망에 대한 연구와 실제 응용이 활발하다. 특히 경사하강법에 기반한 인공 신경망의 학습을 진행할 때 손실 함수의 중요성에 대한 논의는 계속되어왔다. 최근 몇몇 연구 중에는 메타 학습을 이용하여 손실함수를 학습이 가능한 변형을 주기도 한다. 하지만 이들은 손실함수를 대체하면서도, 손실 함수가 실제로 필요한지에 대한 의문을 제기하지는 않았다. 이 논문에서는 먼저 인공신경망의 구조에 대해 다시 돌아본다. 또한 인공신경망에서 손실 함수의 역할을 신경망으로 대체한 뒤, 이를 사용하여 회귀 문제를 접근해본다.
