Power consumption and total end-to-end distortion of video images in a black-box surveillance system consisting of a CMOS image sensor (CIS), video encoder (VE), flash storage, and event detector depend on the configuration of CIS, e.g., oversampling rate (OSR), as well as video encoding configuration, e.g., I-frame insertion period, search range in motion estimation. We proposed a distortion minimization method which jointly identifies the optimal configuration of the CIS and VE based on the event occurrence information obtained by the event detector. First, we developed a power-distortion (P-D) model of the CIS with respect to the OSR. To minimize the distortion for the joint optimization problem, we then performed three steps: i) allocating the power budget according to the estimated event occurrence rate, ii) finding the optimal power distribution between the CIS and VE, and iii) finding the OSR of the CIS and VE configuration according to the optimal power level. We proposed two methods for distortion minimization; optimal power distribution (Optimization I) and proper power budget allocation (Optimization II). Experimental results have shown that the proposed control algorithm provides 36.72% improvement in video image quality by utilizing the Optimization I and II together.
블랙박스 감시 시스템은 배터리와 플래시 메모리 등과 같은 제한된 리소스를 소모하며 동작하기 때문에 이를 효율적으로 사용하는 리소스 관리 알고리즘이 적용되어야 한다. 또한 의미 있는 사건만을 감지하여 불필요한 사건을 캡쳐하고, 압축하고, 기록하는 데에 리소스가 낭비되지 않도록 저전력으로 동작하는 이벤트 디텍터가 블랙박스 감시 시스템에 적용되어야 한다. 기록된 영상을 통해 사건을 분석하고 영상에 나타난 객체 및 신원 파악 등이 수행되어야 하기 때문에 영상의 품질을 최대화하는 시스템 컨트롤 알고리즘 또한 동시에 적용되어야 한다.
본 논문에서는 CMOS 이미지 센서, 비디오 엔코더, 플래시 메모리 그리고 이벤트 디텍터로 구성되어 있고, 배터리로 동작하는 감시 카메라에서 주어진 수명을 만족하면서 영상의 왜곡을 최소화하는 방식을 제안하였다. CMOS 이미지 센서와 비디오 엔코더 사이의 최적 전력 할당을 해주고 부호화 비트율을 이와 함께 컨트롤 해주었다. 이벤트 디텍터로부터 얻어진 이벤트 발생 빈도에 대한 정보들을 통해 앞으로 발생하게 될 이벤트의 빈도를 예측하여 적절한 전력 예산을 할당해 주고 이 전력 예산을 시스템의 각 구성 요소에 적절히 분배해주는 컨트롤을 통해 배터리와 플래시 메모리 리소스를 효율적으로 사용하여 주어진 시스템 수명을 만족시키고 이러한 가정이 없는 방식에 비해 향상된 결과를 얻을 수 있었다.
이를 위해서 Smart Black-box Surveillance System을 타겟 아키텍쳐 시스템으로서 정의하고 시스템에 적용되는 저전력 이벤트 디텍터와 그 동작 알고리즘을 제안하였다. 또한 CMOS 이미지 센서와 비디오 엔코더에서 발생하는 영상 왜곡의 상관관계를 찾아내어 블랙박스 감시 시스템에서의 총 왜곡 모델을 유도하였으며 시스템 구성 요소로서 CMOS 이미지 센서의 전력-왜곡 모델을 유도하여 비디오 엔코더의 전력-비트율-왜곡 모델과 함께 영상의 왜곡을 최소화 해주는 통합 최적해를 찾아주는 방법을 소개하였다.
본 논문에서 영상의 품질을 개선하기 위해 제안된 컨트롤 알고리즘은 크게 두 가지로 제안되었다. 첫째는 CMOS 이미지 센서, 비디오 엔코더 그리고 플래시 메모리 모듈 간의 최적 전력 분배이고, 두 번째는 앞으로 일어날 이벤트 발생 빈도를 예측하고 현재 남은 리소스의 용량을 고려해여 배터리와 플래시 메모리의 리소스를 할당하는 것이다. 제안된 알고리즘의 검증은 다섯 가지 영상 시나리오를 통해 수행되었다. 첫 번째 방법을 통해 25.14% 그리고 두 번째 방법을 통해 14.06%의 영상 품질 개선을 각각 얻을 수 있었으며, 두 가지 제안된 알고리즘을 통합된 컨트롤 방법으로 적용하여 최종적으로 평균 36.72%의 영상 품질 개선의 결과를 얻을 수 있었다. 이를 위한 시스템 컨트롤러의 에너지 오버헤드는 단지 총 에너지량의 0.94%로 측정되었다.
