This thesis presents a new Robust Principal Components Analysis(RPCA) method that decompose data matrix into low-rank and sparse error matrix given deficient samples.
From recently developed RPCA, many accomplishments have been presented in computer vision problems, such as face recognition, background subtraction, photometric stereo and so on.
Especially, RPCA that decompose data matrix into low-rank and sparse error matrix in polynomial-time was proposed, and has been shown to provide promising results.
However, the conventional RPCA could fail to estimate low-rank and sparse error matrix properly, because the RPCA assumes that enough observations to construct data matrix and to support a major sub-space are given.
To overcome the limitation, an additional constraint is needed.
This paper proposes an effective method to decompose low-rank and sparse matrix with deficient samples via rank-N soft constraint, in case that an input data matrix originally comes from a certain rank-N matrix.
Particularly, when sample vectors in a data matrix are linearly dependent, the rank of the data matrix becomes one.
We discuss about a special case of rank-1 soft constraint condition, and apply the proposed RPCA method with rank-1 soft constraint to computer vision applications.
In the latter of our research, we present two applications using the proposed decomposition method.
Firstly, we present a new ghost-free High Dynamic Range(HDR) method as an application.
For a scene, taken photographs with different exposures are linearly dependent for scene radiance which consist of rank one matrix.
HDR is suitable for rank-1 assumption, and relatively deficient samples are given.
By utilizing this observation, we model undesired moving objects or saturation regions as additive sparse error and sensor irradiance as low-rank structure.
As the second application, we present a moving object boundary detection method by the proposed RPCA with rank-1 soft constraint.
Under the static surveillance system, boundary of moving objects in captured images can be modeled as sparse change with large magnitude.
We show that the proposed RPCA with rank-1 soft constraint outperforms the conventional RPCA under deficient observations.
In addition, we present a moving objection segmentation and a tracking by segmentation by using the proposed moving object boundary detection to show usefulness and applicability of our approach.
To show robustness and effectiveness of the proposed applications, we perform experiments with challenging real datasets.
The experiments show our method has better performance than recent other methods.
Specifically, the proposed HDR shows better result than a commercial program.
We also validate our experiments of moving object boundary detection by including illumination changes into datasets.
본 학위 논문에서는 부족한 데이터가 주어진 상황에서도 강인하게 효과적으로 저계수 행렬 특성과 추가적인 희소 오류 행렬로 분해하는 강인한 주성분 분석법을 제안한다.
최근 발전된 강인한 주성분 분석법(Robust Principal Component Analysis, or RPCA)의 결과에 주목하여, 컴퓨터 비전 분야의 얼굴 인식, 배경 차분, Photometric Stereo 등의 다양한 응용에서 많은 성과들이 나오고 있다. 특히 관찰된 데이터 행렬을 데이터 행렬의 내제된 저계수 행렬 특성과 추가적인 희소 오류 행렬로 분해를 통해 강인하게 주성분 분석을 하는 방법(RPCA)이 최근 제안되었고 많은 애플리케이션에 응용되었다.
그러나 많은 관찰 데이터가 주어진 상황을 가정한 기존의 RPCA는 적은 데이터가 주어진 상황에서는 주 성분을 추정하는 능력이 떨어진다. RPCA의 한계를 극복하기 위해서는 추가적인 제약 조건을 필요로 한다. 따라서 본 논문에서는 특정 계수를 내재하고 있는 데이터 행렬의 특성이 가정될 수 있는 경우, N-계수 행렬의 약한 제약 조건(Rank-N Soft Constraint,RNSC)을 통해 적은 관찰 데이터를 기반으로도 효과적으로 저계수 행렬과 희소 오류 행렬을 분해할 수 있는 방법을 제안하였다.
특히 행렬을 구성하는 데이터 간의 관계가 선형 종속인 경우, 계수가 1인 행렬이 된다.
이를 첫번째 행렬 계수의 약한 제약 조건(Rank-1 Soft Constraint,R1SC)인 특수한 경우에 대해 논의하고, 제안된 저계수 행렬과 희소 행렬 분해법을 컴퓨터 비전의 응용에 적용해보았다.
본 연구의 후반부에서는 두 가지 응용을 제안한다.
첫째로 제안된 첫번째 행렬 계수의 약한 제약 조건 가정이 성립하고 일반적으로 주어진 데이터가 적은 High Dynamic Range(HDR) 영상 합성 방법을 응용 예로서 제시한다.
한 장면에 대해 서로 다른 노출로 촬영된 사진들은 촬영 환경의 광량에 대해 선형 종속이어야 한다. 이점을 이용하여 사진가가 원하지 않는 움직이는 물체나 노출이 포화된 곳을 희소 오류 행렬로 모델링하고 저계수 행렬과 희소 오류 행렬 분해 방법을 통해 잔상 문제(Ghost artifact) 없이 HDR을 합성하는 방법론을 제안한다.
두번째 응용으로는 정적 카메라에 촬영된 영상에서의 움지는 물체의 경계가 큰 변화를 가지는 희소 요소로 모델링 될 수 있다는 점을 이용해 첫번째 행렬 계수의 약한 제약 조건(R1SC)을 적용하여 움직이는 물체의 경계를 추출하였다.
부족한 입력이 주어졌을 경우, 실험을 통해 제안된 RPCA-R1SC 방법이 기존 RPCA 보다 강인하게 동작함을 보였다.
또한 움직이는 물체의 경계 검출의 활용성을 보이기 위하여, 움직이는 물체의 영상 분할과 영상 분할을 통한 추적 응용 예를 제시해 제안된 방법의 유용성을 보였다.
두 가지 제안된 응용의 강인한 성능과 타당성을 보이기 위해 실제 환경에서 취득한 여러 영상 세트를 통해 실험하였으며, 여러 최신 방법론들과 비교되어 보다 좋은 결과를 보였다.
특히 HDR의 경우, 널리 사용되는 상용 프로그램과 비교해서 더 좋은 성능을 보였다.
움직이는 물체의 경계 검출 응용에 사용된 영상 세트들은 조명 변화가 포함되어 성능의 신뢰도를 올렸다.
