Hand Mesh Estimator (HME) has been studied and shown to have high performance. However, although previous HMEs have shown high performance for sharp hand images, their performance is poor for motion blur due to fast movements. Therefore, it is necessary to study HMEs that are robust to motion blur. The main problem in the research of motion blur robust HME is the lack of datasets that provide real motion blur images. Therefore, in this study, we constructed a dataset consisting of real motion blur images. The annotation of the dataset was achieved by using an Adaptive Graph Neural Network (A-GCN) based network, which was trained with a sharp image dataset and a multiview camera environment. Furthermore, a Motion Blur-to-Motion Network (MBMNet) with a channel attention module, a Convolutional LSTM (ConvLSTM), and an A-GCN HME is built and trained with the dataset to predict successive hand motions from a single motion blur image. We show how motion blur can be used as useful information instead of noise.
기존의 이미지로 부터 손 3D 모델을 예측하는 HME(Hand Mesh Estimator)는 현재까지 다양한 연구 가 이루어 지고, 높은 성능을 보여왔다. 하지만, 이전의 HME는 선명한 손 이미지에 대해서는 높은 성능을 보여주었지만 손이 빠르게 움직여 모션 블러(motion blur)가 생긴 손 이미지에 대해서는 성능이 떨어진다. 따라서, 모션 블러 이미지에 대해서도 강건한 HME의 연구가 필요하다. 모션 블러 이미지에 강건한 HME 연구에서 가장 큰 문제는 실제 모션 블러 이미지와 그에 대응하는 주석을 제공하는 데이터셋의 부재라고 할 수 있다. 따라서, 해당 연구에서는 여러 대의 카메라를 이용하여 모션 블러가 존재하는 손 이미지를 취득하여 실제 모션 블러 이미지로 구성된 데이터셋을 구성했다. 데이터셋의 주석은 선명한 이미지 데이터셋으로 학습시킨 A-GCN(Adaptive Graph Neural Network 기반의 네트워크와 다시점 카메라 환경을 이용하여 얻을 수 있었다. 그리고, channel attention module, ConvLSTM(Convolution LSTM), 그리고 A-GCN으로 구성된 MBMNet(Motion Blur-to-Motion Network)을 구축하고, 수집한 데이터셋으로 학습시켜 한 장의 모션 블러 이미지에서 연속된 손 동작을 예측하는 네트워크를 제안한다. 본 네트워크를 이용해 모션 블러를 노이즈가 아닌 유용한 정보로서 사용할 수 있는 방법을 제시한다.
