For the past few decades, video surveillance systems have gained more attention and have been established in a lot of places (e.g., residential areas, schools, airports, etc.) due to the increasing demand for the security. Video surveillance systems play an important role in the detection of criminals, prevention of terrorism, and so on. However, sharing the video surveillance data can lead to potential and unintentional invasion of per-sonal privacy. Among the various information that can be extracted from the surveillance data, a person’s face is one of the most important information concerning the privacy issues. The exposure of a person’s face is a serious threat to personal privacy due to the underlying possibility of abuse of recent powerful face recognition technology for its capability of identifying and tracking a person’s face. To protect a person’s face from being exposed, various face de-identification methods have been studied including from ad-hoc methods to advanced methods exploiting k-anonymity properties. However, these methods are based on an assumption that the exact location and size of the face is known. Therefore, the accurate face detection algo-rithm is required prior to making use of these face de-identification methods. Even though the face detection technology has been studied extensively for its wide range of applications and is thought be a solved problem in some areas, there are still challenging issues when it comes to privacy protection application in surveillance system. First, the large-scale characteristic of the video surveillance data requires a fully-automatic algorithm that can effectively and efficiently detect faces. Second, the unconstrained conditions of capture degrades the performance of existing face detection algorithms. Lastly, face detection for privacy protection requires extremely high recall since missing even a small number of faces in video surveillance data can result in inva-sion of privacy. To overcome these challenges, in this thesis, we propose a new face detection framework that combines multi-level facial features in spatial domain. By combining multi-level facial features, each facial feature can complementarily contribute to face detection in unconstrained environments. In addition to spa-tial domain analysis, temporal domain analysis is also exploited in the framework, which includes adaptive region-of-interest (ROI) detection model learning and face tracking in forward and backward directions. Learning the ROI detection model adaptively from the previous frames makes the overall framework much more effective and efficient. The forward and backward face tracking exploiting consecutive frames aims to reach extremely high recall toward perfect privacy protection in surveillance systems. Experimental results demonstrated that the proposed method remedies the challenges mentioned above properly.
보안에 대한 요구가 증가함에 따라 비디오 감시시스템에 대한 사람들의 관심 역시 급증하였고 주거지, 학교, 공항 등 주위에서 비디오 감시시스템을 쉽게 찾아볼 수 있게 되었다. 비디오 감시시스템은 범죄자를 검출하고 추적하거나 테러를 사전에 방지하는 등 주요한 역할을 수행한다. 하지만 이러한 목적으로 비디오 감시데이터를 공유하는 과정에서 개인의 사생활이 노출될 위험이 있다. 비디오 감시데이터로부터 노출될 수 있는 여러 개인정보 중에서 사람의 얼굴은 가장 중요한 정보이다. 특히, 사람의 얼굴로부터 신원을 확인하고 추적하는 얼굴인식 기술이 점점 발전됨에 따라 얼굴인식 기술이 오남용 될 가능성은 사생활 노출의 문제를 더욱 심화시키고 있다. 비디오 감시데이터에서 사람의 얼굴, 즉 신원이 노출되는 것을 방지하기 위해 얼굴영역을 지우거나 흐리게 하는 단순한 방법부터 얼굴영역을 스크램블링 또는 암호화하는 방법까지 다양한 연구가 진행되어 왔다. 하지만 이러한 방법들은 기본적으로 영상 내에서 정확한 얼굴의 위치와 크기가 주어졌다는 가정을 기반으로 한다. 따라서 정확하고 효과적인 얼굴검출 기술이 먼저 선행되어야 한다. 얼굴검출 기술은 얼굴인식, 얼굴추적 등 매우 다양한 범위에서 사용되고 있어 많은 연구자들에 의해 연구되어 왔으며, 특정 응용에서는 충분히 현실적으로 적용 가능한 성능을 보인다고 알려져 있다. 하지만 비디오 감시시스템에서 사생활 보호를 위한 관점에서의 얼굴검술은 여전히 여러 도전요소를 가지고 있다. 첫 번째, 비디오 감시데이터는 주로 대용량의 특징을 가지기 때문에 효과적이고 동시에 효율적인 완전자동 얼굴검출 기술을 필요로 한다. 두 번째, 비디오 감시데이터는 제약되지 않은 환경에서 얻어지고 이는 얼굴검출 성능을 저하시키는 원인이 된다. 세 번째, 사생활 보호 관점에서의 얼굴 검출은 매우 높은 재현율(recall)을 만족해야 한다. 이러한 도전요소를 해결하기 위해 본 논문에서는 복합 얼굴 특징 기반의 새로운 얼굴검출 방법을 제안한다. 공간 영역에서 다중단계의 얼굴 특징을 결합함으로써 각 얼굴 특징은 제약되지 않은 환경에서의 얼굴검출에 상호보완적으로 기여를 한다. 공간 영역에서의 분석 외에도 적응적 관심영역 검출 모델 학습, 양방향 얼굴추적 등 시간 영역에서의 분석 역시 이루어진다. 적응적 관심영역 검출 모델 학습은 전체 얼굴검출 방법이 더욱 효과적이고 효율적으로 수행되도록 도움을 주며, 양방향 얼굴추적 기술은 비디오 감시시스템에서 사생활 보호를 위한 매우 높은 재현율 유지를 가능하게 한다. 제안하는 방법은 기존의 다른 얼굴검출 방법과의 비교실험 및 분석을 통해 사생활 보호 관점에서의 여러 도전요소를 효과적으로 극복할 수 있음을 확인한다.
