This paper assesses the feasibility of deep learning hardware by demonstrating an auto-encoder behavior model on pre-route simulation. Many recent deep learning literature has focused on learning high-level abstraction of unlabeled raw data by unsupervised fea-ture learning. However, the computation complexity and the slowness of the learning pro-cess due to large amounts of training data required better algorithms to be developed. Addi-tionally, using FPGAs rather than serial computing CPUs could efficiently overcome these computational drawbacks. However, the design effort for FPGA implementations of deep learning algorithms remains challenging and time consuming. In order to check the feasibil-ity of designing deep learning architectures on FPGA, we designed a behavior model of auto-encoder and performed pre-route simulation using VerilogHDL in MODELSIM. We successfully obtained a cycle-accurate result of the first hidden layer’s parameters. More specifically, we extracted latent representations of the hidden layer using the Kyoto natural images and remodeled MNIST image databases. Also, we evaluated the classification per-formance on MNIST by using the pre-route of the single auto-encoder and SOFTMAX classifier. This paper shows how pre-route simulation can help the designing process of unsupervised learning algorithms on hardware by providing the cycle-accurate result.
기존의 컴퓨터 시각 알고리즘들이 해결 할 수 없었던 문제들을 deep learning algorithm이 훌륭히 해결해내면서 많은 사람들의 관심을 받기 시작하였다. Deep learning algorithm은 인간 대뇌의 visual pathway의 구조와 기능을 모방하여 만든 것으로 계층적인 구조를 갖고 있다. 학습과정을 통해 각각의 계층에서는 이미지의 주요한 성분들을 단계적으로 학습하게 된다. 즉, 하단에서 선 모양을 학습하고 상단으로 올라갈수록 꺾은선, 사물의 부분과 같은 더 추상화된 형태의 성분들을 학습하게 된다. 다시 말하면, 각 계층들이 학습한 특징들 만으로 본래의 이미지를 추측해낼 수 있는 것이다. 한편, Deep learning algorithm의 성능은 데이터의 개수가 많아질수록 더 좋아진다. 그러나 data가 많아질수록 연산속도가 느려지고 전력소모가 많아지는 trade-off가 존재한다. 이를 해결하기 위한 solution으로 FPGA local platform하드웨어에 deep learning algorithm을 구현하여 시각 문제들을 해결하는 방법을 제시한다.
Deep learning algorithm중에서 unsupervised pre-training 과정이 중요하고도 시간이 오래 걸리기 때문에 하드웨어화 하고자 하였다. 많은 unsupervised pre-training algorithm중에서 sparse auto-encoder를 선정하였으며 우선적으로 MATLAB상에서 이를 구현하고 검증한 뒤, MODELSIM 상에서 behavior model을 구현하고 검증하였다. MODELSIM 즉 pre-route simulation상에서의 정상 동작 여부를 확인함에 따라 deep learning algorithm hardware의 가능성을 보였다. 알고리즘 동작을 검증하기 위하여 Kyoto natural image와 MNIST dataset을 사용하였다. 두 데이터 셋으로부터 선 모양의 특징들을 학습 한 것을 cost와 weight값을 통해 비교하였으며, 시각화 과정을 거쳐서 비슷한 정도를 확인하였다. MNIST의 경우 선 모양의 특징을 추출할 뿐만 아니라, 그 특징 점들을 이용하여 classification을 수행하였다. 96%이상의 성능을 얻었으며, MATLAB에서와 굉장히 유사한 성능을 보였다. 이로써, MODELSIM(pre-route simulation)상에서 sparse auto-encode behavior model이 잘 동작 한다는 것을 보였다.
Sparse auto-encoder는 auto-encoder에 sparse 한 성질을 더하여 over-fitting을 방지한 것이다. Auto-encoder는 input으로 들어오는 이미지를 reconstruction하여 그 차이를 줄이는 방향으로 학습을 진행한다. 그 과정에서 hidden layer를 통해 이미지의 feature, 즉 주요 성분들을 학습하게 된다. 본 연구에서는 하나의 계층만을 구현하였기 때문에 선 모양의 특징들이 추출된다. 본 모델을 반복하여 쌓는다면 상위 계층에서는 더 추상적인 특징들을 추출할 수 있을 것이다. 학습알고리즘으로는 L-BFGS를 사용하였으며, exponentially decreasing learning rate을 사용하였다.
