Automatically detecting abnormal behaviors and situations are known as important problems for in-telligent video surveillance. Human activity recognition and detecting fire using video analysis are key tech-nologies for the detection of the abnormality. In this paper, I attempt to achieve high accuracy in the detec-tion of the two major problems. For the human activity recognition, existing methods have tended to re-search center around 2D-based and view-dependent representations, which make the accuracy of the meth-ods lower. I adopt a 3D activity modeling and a representation method view-invariant and rotation-invariant and try to improve the recognition accuracy. For the detection of fire, existing methods have tended to utilize strong assumptions about fire characteristics, which make the method not applicable in real environments. To utilize and incorporate natural characteristics about fire in space and time, I adopt a recursive Bayesian estimation and greedy margin-maximizing clustering. With the methods, I achieved high accuracy recognition and detection results compared with existing methods, which are proved in various experiments in various situations.
자동으로 이상 사건을 감지하는 지능화된 비디오 감시 시스템은 감시 카메라의 설치가 늘어감에 따라 그 수요가 점점 더 증가하고 있습니다. 이상 행동을 감지하는 인간 행동 인식 기술과 이상 상황 중에서 화재를 감지하는 화재 인식 기술은 지능화된 비디오 감시 기술에서 많은 응용을 가지는 중요한 기술입니다. 본 박사학위 논문에서는 위 두 가지 인식 기술에 대해서 인식의 정확도를 높이기 위한 기법을 제안합니다.
인간 행동 인식을 위해서 다음과 같은 기법을 제안합니다. 먼저, 인간의 행동을 3차원 볼륨을 기반으로 모델링 합니다. 3차원 행동 모델링은 2차원 행동 모델링 기법에 비해서 카메라 뷰에 무관한 인식을 할 수 있고, xy 평면상에서 발생하는 움직임 뿐만 아니라 z축에서 발생하는 움직임도 놓치지 않고 표현해 낼 수 있습니다. 3차원 행동 모델링 기법으로는 Motion History Volume(MHV)를 사용하였고 이로부터 행동 인식에 필요한 특징을 추출해 내었습니다. 한 사람이 하는 간단한 행동 뿐만 아니라 조금 더 복잡한 행동, 두 사람이 하는 인터랙션을 인식하기 위해서 MHV로부터 추출되는 특징 외에 추가적인 특징을 고안하였습니다. 움직임에 대한 위, 아래의 방향성과 xy 평면상에서 얼마나 활발한 움직임을 보이는가를 추가적인 특징으로 사용하였습니다. 또한 이상 행동에 대한 빠른 대응을 위해서, 행동이 끝났을 때 한번 인식을 하는 것이 아니라 이상 행동 징후가 나타나는 시점부터 인식을 시작하여 행동이 끝날 때까지 인식을 수행 하였습니다. 이를 위해서 한 행동의 여러 단계들에서 나오는 행동 특징들을 여러 개의 가우시안 클러스터들로 학습을 하고 행동 분류 단계에서는 쿼리 특징에 대해서 가장 가까운 클러스터를 찾아 그것의 클래스를 쿼리 특징의 클래스로 하였습니다. 이와 같이 제안된 기법을 통해서 기존의 MHV만 활용하는 기법 보다 인식률을 향상 시킬 수 있었습니다.
화재 인식을 위해서는 다음과 같은 기법을 제안하였습니다. 화재의 특징에 대한 인위적인 가정을 두지 않고 화재에서 나타나는 자연스러운 원리를 적용하였습니다. 그 원리는 시간적 지엽성과 공간적 지엽성 입니다. 시간적 지엽성 이란, 이전 시간에 화재가 있으면 그 다음시간에도 화재가 있을 가능성이 높다는 것이고, 공간적 지엽성은 이전에 화재가 있을 때 다음 시간의 화재는 이전 시간의 화재 주변 영역에 위치 할 가능성이 높다는 것 입니다. 또 다른 원리로는 인식의 지엽성 입니다. 이전 시간에 어떠한 블랍이 화재로 인식되면, 다음 시간에 똑같은 블랍은 역시 화재로 인식될 가능성이 높다는 것입니다. 이와 같은 원리를 적용하기 위해서 먼저 불꽃 후보 블랍들을 식별하고, 각 후보 블랍들을 시간에 따라 추적합니다. 추적된 불꽃 후보 블랍 각각에 대해서 화재와 비화재 두 클래스 중 하나로 인식하였습니다. 인식에 사용된 특징은 블랍안의 픽셀들의 RGB 색상 정보이고 인식에는 재귀적인 베이지안 상태 추정 기법을 사용하였습니다. 재귀적인 베이지안 상태 추정 기법에서는 어떤 객체가 어떤 상태(또는 클래스)에 놓일 확률을 이전 시간에 추정된 확률로부터 전이시켜 추정하고 이 결과를 현재 시간에서의 관찰을 통한 우도 확률로 수정하여 다시 현재 시간의 상태에 대한 추정을 계산 합니다. 이 과정을 시간에 따라 지속적으로 반복합니다. 재귀적인 베이지안 추정 기법을 통해서 인식의 지엽성 원리를 적용할 수 있었고, 블랍의 추적을 통해서 화재의 시, 공간적 지엽성을 적용 할 수 있었습니다. 이러한 기법들을 활용한 것은 인간이 과거의 정보를 활용하여 인식을 빠르고 정확하게 수행하는 원리를 반영한 것으로, 과거 정보로부터 피드백을 통해 현재 인식의 성능을 올리는 것과 같은 원리입니다.
각각의 제안된 기법을 통해서 행동 인식과 화재 인식에 있어서 인식률을 개선 할 수 있었고, 화재 인식에 있어서는 오인식률을 기존의 기법들에 비해서 상당히 줄일 수 있었습니다. 제안된 기법들은 인식의 정확도를 높이는데 기여했을 뿐만 아니라 인식 대상에 대한 인위적인 가정을 사용하지 않음으로써 실제 환경에서의 적용 가능성을 높였습니다.