Lifetimes of battery-powered monitoring and surveillance systems are limited by the given battery capacity. This could lead either to a complete loss, or to a significant loss of quality in the recorded image of events. In addition, it is hard to transfer all the recorded images to base station due to the limitation of energy and wireless channel. Accordingly, the recorded images are stored in non-volatile memory for the purpose of object recognition in the future, such as black-box system. In this paper, we propose a lifetime maximization method for memory- and battery-constrained smart video surveillance system which exploits event characteristics. The power consumption of video encoding can be minimized with reduced computational complexity. In scalable video coding, the motion information obtained in the base layer can be exploited to adjust the search range of motion estimation in the enhancement layer, which leads to reduce the power consumption of video encoding. Given event statistics, the proposed method balances the resource of a wireless surveillance (camera) node (WSN) consisting of image sensor, event detector, video encoder, transceiver and memory. The lifetime of WSN is determined by the remaining resource, i.e., battery charge and memory space. In this work, we assume that the resource of WSN is refreshed at $\It{a system maintenance period}$ (SMP). The proposed method controls the bit-rate of encoded videos and recording condition (resolution and frame rate) to maximize the lifetime of WSN up to the SMP. Hierarchical event detection algorithms are utilized for trade-offs between energy consumption and detection accuracy. Based on operational framework of power-rate-distortion relationship analysis, we build $\It{an energy-rate-distortion optimization technique}$ which gives an energy-optimal operating point of the video encoder under the given battery and memory constraint. Experimental results show that the proposed method prolongs the lifetime of WSN up to 88.53% compared with an existing bit-rate allocation method which does not consider resource balancing. With the proposed scheme, we provide the architecture exploration at the initial design stage as well as the dynamic scheduling of WSN to maximize the lifetime of WSN more than one year.
이 논문은 무선 감시 카메라의 전력을 최소화 하기 위해서 에너지를 고려한 영상 압축 방법에 관한 연구이다. 먼저 영상 압축에서의 전력 소모를 줄이기 위해서 스케일러블 비디오 코딩의 특징은 동일한 내용의 영상이지만 크기만 다른 다층으로 구성되어 있다는 것인데, 여기에 착안하여 이미 움직임 탐색이 끝난 결과를 바탕으로 현재 층의 움직임 탐색을 할 때에 탐색 범위와 예측 기준을 정하는 것이다. 움직임 탐색의 시작점은 주변의 움직임 벡터에서 혹은 아랫층의 움직임 벡터에서 얻을 수 있으며 이로부터 최종 움직임 벡터로의 차이를 움직임 벡터 차이라고 정의하고 이 값은 절대값을 취하여 이를 활동성이라고 정의한다. 활동성은 움직이는 객체의 외곽에서 커지는 특성이 있으며 결국 움직이는 객체의 외곽에서는 더 널은 영역에 대하여 움직임 탐색을 해야 한다. 이 특성을 활용하여 활동성을 기준으로 움직임 탐색 영역을 정하고 이를 통해 적응적으로 화질의 희생 없이 움직임 탐색을 가속하였다. 결과적으로 1.56%의 비트레이트 증가, 0.048dB의 화질열화만 감수하고 99.26%의 움직임 탐색 시간을 줄일 수 있었다. 이는 계산량을 극적으로 줄여서 전력 소모를 최소화하는데 큰 도움이 된다.
이와 같이 영상 압축에서의 전력 소모 감소를 바탕으로 무선 감시 카메라의 수명을 최대화하는 방법을 제안한다. 카메라의 수명은 전력을 공급하는 배터리와 압축된 영상을 저장하는 메모리에 의해서 결정된다. 영상 압축에서 발생하는 전력-율-왜곡의 관계를 분석하고 이를 수식적을 모델링 한 뒤에 이를 바탕을 영상 압축의 전력 소모를 적응적으로 조절한다. 특히 일정 수준의 왜곡을 유지하도록 할 때에는 율이 커질수록 에너지가 감소하는 특징을 활용하여 무선 감시 카메라의 수명을 연장한다. 이때에 율이 커지면, 반대로 메모리에 저장하는 비트 수가 커져서 메모리의 수명은 짧아지게 된다. 또한 영상의 크기와 초당 프레임의 수, 즉 초당 처리하는 화소 수에 따라서 배터리와 메모리 수명 모두 달라지게 된다. 결과적으로 시스템에 주기적을 보수(재충전)된다고 했을 때에 이 주기에 딱 맞도록 수명을 연장하기 위해서 율과 초당 화소수를 조절하게 된다. 메모리의 수명을 고려하지 않는 다른 연구에 비해 88.53%의 수명 연장효과를 보이며 최종적을 주어진 시스템 보수 주기까지 살아남을 수 있었다. 이와 같이 제안된 방법을 통해서 무선 감시 카메라의 설계를 효과적을 수행할 수 있다.