Rainfall depth is important meteorological information. Generally, high spatial resolution rainfall data such as road-level rainfall data are more beneficial. However, it is expensive to set up sufficient Automatic Weather Systems to get the road-level rainfall data. In this paper, we proposed to use deep learning to recognize rainfall depth from road surveillance videos. To achieve this goal, on the one hand, we collected new video data sets and proposed an estimation procedure to calculate refined rainfall depth from the original meteorological data. On the other hand, we proposed a new deep learning architecture named Temporal and Spatial Segment Networks (TSSN) for rainfall depth recognition. Under the TSSN framework, we utilized the video frame, the differential frame, as well as the optical flow image for rainfall depth recognition. The experimental results show that the combination of the video frame and the differential frame is a superior solution for rainfall depth recognition. The comparative experiments show that TSSN significantly outperforms other adopted methods and has higher robustness against camera movement.
강우량은 매우 중요한 기상 정보이다. 일반적으로, 도로 수준과 같은 높은 공간 해상도의 강우량이 더 높은 가치를 가진다. 하지만, 도로 수준의 강우량을 측정하기 위해 충분한 수의 기상 관측 장비를 설치하는 것은 비용 관점에서 비효율적이다. 본 논문에서는 도로의 감시 카메라 영상으로부터 강우량을 인식하기 위해 심층 신경망을 활용하는 방법에 대해 제시한다. 해당 목표를 달성하기 위해, 본 논문에서는 감시 카메라 영상을 직접 수집하고, 원본 기상 정보로부터 보정된 강우량을 계산하기 위한 추정 방법을 제안한다. 또한, 본 논문에서는 강우량 인식을 위한 새로운 심층 신경망 구조인 Temporal and Spatial Segment Networks (TSSN)를 제안한다. 제안한 심층 신경망을 바탕으로, 본 논문에서는 강우량을 인식하기 위해 영상의 프레임, 두 연속하는 영상의 프레임 차이, 광학 흐름을 입력으로 사용한다. 실험 수행 결과, 영상의 프레임과 두 연속하는 영상의 프레임 차이를 모두 입력으로 사용했을 때 가장 높은 강우량 인식 성능을 보였다. 또한, 본 논문에서 제안한 심층 신경망이 기존의 모델과 비교했을 때, 감시 카메라의 움직임에 대해서도 매우 높은 강건성을 보였다.
