In this dissertation, we study the statistical decision process of detecting the low-rank signal from various signal-plus-noise type data matrices, known as the spiked random matrix models. Various spectral phenomena observed in these types of models have been actively studied in random matrix theory until recently. One of the most remarkable phenomena is that the principal components (the largest eigenvalues and the associated eigenvectors) exhibit the sharp phase transition, named Baik-Ben Arous-P\'{e}ch\'{e} (BBP) transition.
In the first part of this dissertation, we first show that the vanilla principal component analysis (PCA) is a sub-optimal way for the non-Gaussian noise. Specifically, we prove that the PCA can be improved by applying the non-linear pre-transformation element-wisely to the data matrix if the noise is non-Gaussian. As an intermediate step, we find out sharp BBP-type phase transition thresholds for the extreme eigenvalues of spiked random matrices. We also prove the central limit theorem for the linear spectral statistics (LSS) for the spiked random matrices and propose a hypothesis test based on it, which does not depend on the distribution of the signal or the noise. When the noise is non-Gaussian, the LSS-based test can be improved with an entrywise transformation to the data matrix with additive noise. We also introduce an algorithm that estimates the rank of the signal when it is not known a prior.
After this, in the second part, we consider more structural Gaussian noise matrices such as the Gaussian block matrix, and the Gaussian band matrix. In particular, we consider not only the phase transition phenomenon of the principal components, but the likelihood ratio of the spiked matrix models with such noise structures, and prove its asymptotic normality. This provides the exact error of the likelihood ratio test.
본 논문에서는 스파이크 랜덤 행렬 모형으로 표현되어지는 고차원 데이터 행렬에서 신호를 감지하는 통계적 의사 결정 과정을 다루고자 한다. 스파이크 랜덤 행렬 모형으로 나타나는 데이터의 경우 주성분 (분산이 큰 일부 고윳값과 고유벡터)이 신호 대 잡음비에 의존하여 BBP 전이라고 잘 알려진 상전이 현상을 보인다는 것이 무작위 행렬 이론을 통해 이론적으로 밝혀졌고, 이러한 현상을 기반으로 한 특이값 분해 혹은 주성분 분석을 통한 신호 감지 및 복원 방법은 이론적 뿐만 아니라 실용적으로도 자주 사용되어지는 방법이다.
이 논문의 첫 부분에서는 우선, 잡음이 정규 분포를 따르지 않는 경우에는 기존의 주성분 분석 방법은 최적의 방법이 아님을 보일 것이다. 구체적으로는 주어진 데이터 행렬을 그대로 사용하지 않고, 특정한 비선형적인 성분별 선변환을 사용함을 통하면 더 향상된 주성분 분석이 가능함을 보일 것이다. 이를 보이는 과정에서, 제안한 함수를 통해 변형된 새로운 데이터 행렬이 보다 낮은 임계점을 전후로 BBP 전이와 같은 유형의 전이 현상을 나타낸다는 것을 보일 것이다. 더 나아가 신호 대 잡음비가 작아 주성분 분석을 통한 신호 감지가 불가능한 경우에 이를 판별할 수 있는 가설 검정 (약한 감지) 방법을 무작위 행렬의 선형 스펙트럼 통계량에 대한 통계랑을 사용하여 제시하고자 한다. 또한 선형 스펙트럼 통계량의 중심 극한 정리를 통해, 제시된 가설 검정의 효율성에 대해서도 다룰 것이다.
그 이후, 우리는 조금 더 구조적으로 특수한 가우시안 블럭, 또는 가우시안 밴드 행렬 형태의 잡음 행렬을 고려해보고자 한다. 특히 이러한 잡음을 포함하는 스파이크 랜덤 행렬 모형에 대한 주성분들에서 나타나는 상전이 현상 뿐만 아니라, 가장 기본적인 가설 검정 통계량인 우도 비율 함수가 점근적으로 가우시안 분포를 따라감을 보이고, 이를 통해 우도 비율 검정의 오류를 정확히 계산할 것이다.
