The generalized inverse plays a significant role in the analysis of linear models. Especially the Moore-Penrose inverse is very important. In this thesis we derive a procedure for analyzing the unbalanced model using the Moore-Penrose inverse based on the results of the corresponding balanced model.
For a given unbalanced linear modely y=$X\beta+\epsilon$ the computations of a solution of the normal equations and the sums of; squares are based on computing a generalized inverse (X'X)$^-$ and the protection matrix $P_Ⅹ$ = X(X'X)$^-$X'. This projection matrix plays a significant role in analyzing the model. The design matrix X can be expressed as a product of two matrices T and $X_0$ namely $X=TX_0$, where $X_0$ is the design matrix of the corresponding balanced model that contains exactly one observation in each cell and T is the matrix indicating the replications of each cell. From this relation the Moore-Pentose inverse $X^+$ can be derived in terms of T and $X^+_0$. Also the projection matrix $^P-x$ can be obtained in the same manner. Then from these results we can reduce much of the computational efforts to analyze the linear model.
We give a simple method for finding the Moore-Penrose inverse of the design matrix for a balanced model. The Moore-Penrose inverse is closely related to the minimum norm least squares solution. The design matrix of the balanced linear model is of a special form. In most cases it can be represented using the Kronecker products of identity matrices and of matrices with all elements equal to unity. Hence the explicit form of the minimum norm least squares solution can be found and from this result the explicit forms of the Moore-Penrose inverse of the design matrix and the projection matrix can be easily obtained. When the model contains the interaction effects we give an iterative procedure for computing the projection matrix. Furthermore using this method we can find the projection matrix of the design matrix for the balanced model whether the model contains the interaction effects or not.
Based on the results of the balanced model we can easily find the projection matrix for the unbalanced model. For a given unbalanced model $y = X\beta+\epsilon$ let $P_0 = X_0X^+_0$. Then we can find a matrix V such that $VV' = P_0$ and V'V=I. Using the properties of the Moore-Penrose inverse we can establish the relationship between the Moore-Penrose inverse as $X^+=X^+_0V(V'DV)^{-1}V'T'$ where D=T'T is a diagonal matrix. Also the projection matrix $P_X$ can be expressed in the form $P_X =TV(V'DV)^{-1}V'T'$. The projection matrix $P_0$ of the balanced model can be easily obtained and the matrix V can be obtained by the Gram-Schmidt orthonormalizing process on the columns of $P_0$. Hence it is sufficient to compute an inverse matrix in order to obtain the projection matrix of the model. This fact is one of the main results of this thesis in the sense that any computations of the Moore-Penrose inverse are not required to obtain the projection matrix although we derive the relationship between the projection matrices using properties of the Moore-Penrose inverse. Also the computational storages to keep he design matrix and the projection matrix are not needed, but it is sufficient to keep the matrix V which consists of the orthonormal columns of $P_0$. When a musty-way classification model contains the highest order of interaction effect, the procedure can be more simplified.
When error term of the model $y = X\beta + \epsilon$ has the variance-covariance matrix as $\sigma^2$ H , where H is a symmetric positive definite matrix, a solution of the generalized least squares problem $(X'H^{-1}X)\beta=X'H^{-1}$ y is $(X'H^{-1}X)^-X'H^{-1}y$. In this thesis we give an alternative form of the solution that can be obtained without computing $H^{-1}$. Also the best lineat unbaised estimator (BLUE) of X$\beta$ can be derived in the same manner.
본 논문의 목적은 Moore-Penrose 역행렬의 성질을 이용하여 선형모형의 분석을 효과적으로 수행하는 계산 알고리즘을 개발하는데 있다. 선형모형이 $y = X\beta + \epsilon$와 같이 주어져 있을 때, 사영행렬(projection matrix) $P_X = X'(X'X)^-X = XX^+$는 모형을 분석하는데 있어서 매우 중요한 역할을 한다. 위의 선형모형에서 각 칸의 관측치가 단 하나만으로 구성되는 균형모형의 모형행렬을 $X_0$라 하면 주어진 불균형모형의 모형행렬과 균형모형의 모형행렬사이에는 $X = TX_0$와 같은 관계식을 얻을 수 있는데, 여기서 행렬 T는 각 칸의 곽측치의 수를 나타내는 행렬로서 매우 간단한 형태로 나타낼 수 있다. 본 논문에서는 $X_0$의 Moore-Penrose 역행렬을 구함으로써 분석하고자 하는 불균형모형의 사영행렬을 쉽게 구할 수 있는 알고리즘을 제시한다.
먼저 균형모형에서 교호작용을 포함하지 않는 경우에는 Moore-Penrose 역행렬과 최소길이최소제곱해 (minimum norm least squares solution) 과의 관계를 이용하여 모형행렬에 대한 Moore-Penrose 역행렬의 일반형을 제시하고, 이 일반형으로부터 모형의 사영행렬의 일반형을 구할 수 있다. 또한 교호작용이 있는 경우에는 모형행렬의 부분행렬들을 이용하여 균형모형의 사영행렬을 반복적인 방법으로 구할 수 있는 알고리즘을 제시한다.
균형모형에서의 사영행렬 $P_0$에 대해 $VV' = P_0, V'V = I$를 만족하는 행렬 V가 존재하여 불균형모형의 모형행렬에 대한 Moore-Penrose 역행렬을 $X^+ = X_0^+V(V'DV)^{-1}V'T'$과 같이 구할 수 있으며, 또한 사영행렬 $P_X$는 $TV(V'DV)^{-1}V'T$과 같이 구할 수 있다. 여기서 D = T'T 는 각 칸의 관측치 수를 대각원소로 갖는 대각행렬이다. 여기서 행렬 V는 균형모형의 사영행렬 $P_0$의 각 열을 Gram-Schmidt의 방법으로 구해 줄 수 있는 정직교벡터들을 열로 갖는 행렬이 되며 다른 일반화 역행렬을 구할 필요없이 행렬 V'DV의 역행렬을 구함으로써 사영행렬을 쉽게 구할 수가 있다. 이 결과를 이용하면 모형을 분석하는데 필요한 제곱합들을 매우 쉽게 구할 수 있다.
모형의 오차항 $\epsilon$의 분산-공분산 행렬이 $\sigma^2H$으로 주어져 있을 때, (여기서 H는 대칭이고 양정치 행렬) 이 모형의 정규방정식은 $(X'H^{-1}X)\beta = X'H^{-1}y$와 같이 주어지고 이 일반화최소제곱문제의 하나의 해와 $X\beta$의 최량선형 불편추정량(BLUE)을 $H^{-1}$를 구하지 않고도 계산할 수 있는 방법을 제시한다.
