Convolutional neural networks have shown the best performance in image retrieval. With the increasing performance and spread of mobile devices, there is an increasing number of attempts to utilize convolutional neural networks in mobile devices. However, despite the improved performance of the mobile device, it is impossible to train Convolutional neural networks with the resource of the mobile device itself. The previous study covers the off-loading method using the external server to train the model. The method has several problems such as a network cost due to data upload, additional cost of wireless data usage, privacy problem, and maintenance cost of the external server. Therefore, there is a need for training a convolutional neural networks using mobile distributed processing, not using an external server. In this paper, I propose a distributed mobile fine-tuning architecture that performs fine-tuning using images of individual mobile devices through mobile distributed computing. The proposed architecture shows faster and more accurate search results than existing methods in the mobile environment by using convolution layer decomposition method considering mobile environment with limited resources, generating dataset for training supervised model using image transformation, and asynchronous distributed learning method.
컨볼루셔널 뉴럴 네트워크는 이미지 검색 분야에서 가장 우수한 성능을 보여왔으며 모바일 기기의 성능 향상과 보급의 확산과 더불어 모바일 기기에서 컨볼루셔널 뉴럴 네트워크를 활용하려는 시도가 증가하고 있다. 그러나 모바일 기기의 성능이 향상되었음에도 불구하고 모바일 기기 자체적으로 학습 하는 것은 불가능한 상황이며 기존 연구는 외부서버를 활용한 오프로딩 방식으로 모델을 학습한다. 기존 방식은 데이터 업로드로 인한 네트워크 비용 문제, 추가 데이터 사용 비용 문제, 프라이버시 문제 등의 문제점을 가지고 있다. 따라서 외부 서버를 활용하지 않고 모바일 분산처리를 활용한 컨볼루셔널 뉴럴 네트워크 모델 학습에 대한 필요성이 제시되고 있다. 본 연구는 대용량 이미지 데이터베이스에서 사전 학습된 모델을 모바일 분산처리를 통하여 개별 모바일 기기의 이미지를 사용하여 미세 조정 학습을 수행하는 분산 모바일 미세조정 학습 아키텍처를 제안한다. 리소스가 제한적인 모바일 환경을 고려한 컨볼루션 레이어 분해 기법, 이미지 변형을 활용한 지도식 학습용 데이터셋 생성 기법, 비동기식 분산 학습법을 통하여 모바일 환경에서 기존 방법보다 빠르고 정확한 이미 검색 결과를 보이는 아키텍처를 제시하였다.
