The interest in remote-controlled and autonomous ships for marine industries has increased significantly over the past few years. The keys to successful autonomous ships are safe vessel navigation and collision avoidance. Therefore, intelligent situational awareness in marine environments is a critical part of autonomous navigation and is necessary for compliance with the law. Intelligent situational awareness in marine environments consists of three main steps: horizon detection, object detection and tracking, and object classification. Among these, horizon detection is the most essential for situational awareness because its outcome can greatly affect the performance of other tasks and the entire system. Additionally, autonomous ships must classify other types of ships to comply with maritime laws. Therefore, in this thesis, we explore a method to efficiently utilize the superior power of a convolutional neural network (CNN) for horizon detection and ship classification, which are essential tasks for autonomous navigation in marine environments. We first propose two methods for identifying the horizon accurately by utilizing a CNN. The first is a method that accurately detects the horizon by combining a multi-scale approach with a CNN. We analyzed the effectiveness of CNNs for the horizon detection task and confirmed that horizon edge detection utilizing a CNN is effective for improving the accuracy of horizon detection. Although the proposed method has shown reliable overall performance for horizon detection, the performance decreases when edges cannot be detected accurately. Therefore, the second proposed method does not rely on edge detection, but instead utilizes semantic segmentation based on a pyramid scene parsing network to estimate the boundary of the sea. Scene segmentation allows the proposed method to identify the horizon, regardless of the presence of edge information in the input image. We compared the performance of the proposed method to that of state-of-the-art methods on the largest publicly available database containing complex maritime scenes and the experimental results demonstrate that the proposed methods can identify the horizon more accurately than comparable state-of-the-art methods. We also analyzed the performance of recent deep neural networks in the field of ship classification. We selected three CNNs (VGGNet, Inception v3, and ResNet) and utilized the largest publicly available ship database, which consists of 26 superclasses and approximately 240,000 images, to compare network performances on vessel classification tasks. The experimental results demonstrate that ResNet achieve the best performance in terms of accuracy of ship classification. Although state-of-the-art CNNs achieve better performance than previous CNNs, there is still significant room for improvement.
자율운항 선박은 승무원이 없이 스스로 항해하여 운항 비용을 절감하고, 화물의 적재 공간을 증가 시킬 수 있어 최근 관심이 증가하고 있다. 하지만 승무원의 역할을 대신하여 법적 규제를 준수하면서 선박을 안전하게 조정하기 위해서는 주변의 정보를 분석하기 위한 상황인지 기술이 필요하다. 해양에서 자율운항을 위한 상황인지 기술은 수평선 탐지, 객체 검출 및 추적, 선박 분류 등의 과정으로 구성되며, 이 중 수평선 탐지는 상황인지 기술의 첫 단계이며 다음 단계 및 전체 시스템에 큰 영향을 준다. 또한 국제 해상충돌 예방규칙은 선박의 종류에 따른 대응 방법을 규정하고 있어 선박의 종류를 구분하는 것이 필요하다. 따라서 본 논문에서는 딥러닝을 활용하여 상황인지 기술에서 중요한 수평선 탐지 및 선박 분류의 성능을 향상시키기 위한 방법을 제안하였다. 먼저 딥러닝을 사용하여 수평선을 효과적으로 탐지하기 위한 두 가지 방법을 제안하였다. 첫 번째 제안된 방법은 선박, 부표, 부유물 등이 혼재하는 복잡한 해양 영상에서 검출되는 에지 픽셀들을 딥러닝을 사용하여 수평선과 관련된 에지 픽셀만을 분류하여 수평선 탐지의 정확도를 향상시키는 방법이다. 하지만 제안된 방법은 흐린 영상이나 수평선의 경계가 부드럽게 변하여 에지가 검출되지 않는 경우에는 수평선을 검출할 수 없는 단점이 있다. 따라서 두 번째로 해양 영상의 에지 정보를 사용하지 않고 딥러닝 기반의 영상 분할을 통하여 수평선을 정확하게 검출하는 방법을 제안하였다. 제안된 두 방법의 성능은 데이터 규모가 가장 큰 최신 공개 데이터베이스를 사용하여 검증하였으며, 제안된 방법들이 최신 수평선 검출 방법들보다 더 정확하게 수평선을 검출하는 것을 확인하였다. 또한 자율운항 선박이 법적 규제를 준수하기 위해서 필요한 선박 분류에 적합한 딥러닝 기법을 찾기 위하여 26개의 선박 범주, 24만장 규모의 선박 이미지로 구성된 데이터 셋에 최신 딥러닝 기법 적용하여 선박 분류 성능을 비교 분석하였다. 최신 딥러닝 기반 선박 분류 기술은 기존의 방법보다 뛰어난 성능을 보여주었지만, 딥러닝 기술들 간의 성능 차이는 크지 않았으며 향후 선박 분류의 성능 향상을 위한 새로운 접근 방법이 필요할 것으로 예상된다.