This thesis is concerned with a rotation-robust convolutional neural network(CNN) layer and rotated bounding box object detection task on in-plane rotation image. Most deep learning based object detection model composed by standard CNN layers. The layer is translation equivariant. It means that translating an input image along the image coordinate axis and then feed forward to several CNN layers is equivalent with feeding the non shiting input image to same CNN layers and then shifting the output feature map. The layer only has robustness on translational deformation. But it isn’t rotation equivariant. The object covered in the task has multi-orientation on two-dimentional images. The object detection model needs to cover rotational variance. So, we propose a novel rotation-robust CNN layer with a cross-shape kernel, a group equivariant convolutional layer and a feature map positional noising layer, and apply the rotation-robust CNN layer to two stage multi-orientation branch region-based convolutional neural network(R-CNN) for rotated bounding box detection. In the rotation-robust CNN layer, the layer is based on group equivariant CNN layer to give rotation equivariance on CNN layer. It shares weights over discrete rotation and translation group on Euclidean space. A positional noising layer that generates random translational noise for input feature map is also proposed for generalized feature extraction. In the object detection model, the backbone uses ResNet and feature pyramid network(FPN) with the rotation-robust CNN layers. To regress rotated bounding box, detector uses multi-orientation branch rotation-region proposal network(RRPN). To demonstrate robustness over orientation variation, this model tested on aerial object detection datasets which well show orientational variation of instances.
이 논문은 회전에 강인한 convolutional neural network(CNN) 레이어(layer) 및 회전에 강인한 객체 탐지 방법에 대한 연구를 다룬다. 2차원 이미지에서 객체 탐지를 위해서는 이미지 상에서 객체의 다양한 방향성에 대해 고려하는 것이 필요하다. 하지만 대부분의 딥러닝 기반 객체 탐지 모델은 평행이동에 대해서 등변성을 갖는 CNN 레이어로 구성되어있다. 어떠한 함수가 등변성을 갖는다는 것의 의미는 다음과 같다. 특정한 변환이 가해진 입력 데이터가 함수를 통과하여 얻어진 출력 데이터의 값과 변환이 가해지지 않은 입력 데 이터가 함수를 통과하여 얻어진 출력 데이터에 입력 데이터와 같은 변환을 가한 값이 같을 때, 이 함수는 해당 변화에 대해 등변성을 갖는다고 한다. 예를 들어, CNN 레이어를 함수로 두고 특정한 위치에서 물체를 평행이동 시킨 입력 이미지가 레이어를 통과하여 얻어진 출력 특징맵과 평행이동 시키지 않은 입력 이미지가 레이어를 통과하여 얻어진 출력 특징맵을 평행이동 시킨 특징맵이 같을 때 이 레이어는 평행이동에 대해서 등변성을 갖는다고 한다. 평행이동에 대해서 등변성을 갖는 CNN 레이어는 평행이동에 대해서 강인하고 이 레이어를 기반으로 구성된 객체 탐지 모델 또한 평행이동에 대해서 강인하다. 2차원 이미지에서의 객체는 이미지 상에서 불특정한 위치와 방향성을 가진다. 불특정한 위치는 평행이동에 대한 강인함으로 대응할 수 있고, 불특정한 방향성은 회전에 대한 강인함으로 대응할 수 있다. 기존의 CNN 레이어는 평행이동에 대한 등변성만 갖기 때문에 불특정한 방향성에 대응하기 위해서 회전에 대한 등변성이 필요하다. 따라서 본 논문에서는 십자형태을 사용한 p8 그룹 등변 레이어와 확률적인 특징맵으로 회전에 대해 등변성을 갖는 새로운 레이어를 제안하고, 이를 객체의 위치를 회전 경계 상자를 통해 탐지하는 객체 탐지 모델에 적용하기 위해 2단계로 구성된 다중 방향성 갈래를 가지는 탐지 모델을 제안한다. 제안한 CNN 레이어에 회전에 대한 등변성을 추가하기 위해 그룹 등변성 레이어를 사용하고, 다양한 방향성에 대해 보강하기 위해 십자형 커널을 제안한다. 십자형 커널을 그룹 등변성 레이어에 적용하여 유클리드 공간에서 45도 단위의 8가지의 방향성에 대한 등변성을 추가한다. 또한 이산 평면상에서 형성되는 특징에 강인하기 위해 입력 특징맵에 노이즈를 추가하여 확률적인 특징맵을 생성하는 방법을 제안한다. 제안한 객체 탐지 모델에서 특징을 추출하기 위한 부분에는 ResNet과 회전에 강인한 특징 피라미드 네트워크(FPN)를 사용한다. 회전 경계 상자를 탐지하기 위한 영역 제안 네트워크에는 다중 방향성 갈래 회전 영역 제안 네트워크(Multi-orientation branch rotation region proposal network)를 사용한다. 제안한 방법이 객체의 불특정한 방향성에 대해 강인함을 증명하기 위해 객체 탐지 모델은 다양한 방향성이 나타나는 항공 물체 탐지 데이터셋을 사용해서 검증한다.
