The operations, marginalization and conditionalization, on a probability model affect the probability model in a variety of ways. If we denote the probability model before one of the operations by M and by M' that after the operation, M and M' may belong to the same family of probability models or not. For example, marginalization on a Gaussian model (or a multinomial model) yields another Gaussian model (or a multinomial model) while it may not be the case for some other models such as a mixture of Gaussian models.
If we interpret the model structure of a probability model as a graphical representation of the Markov properties which are latent in the probability model, then different probability models may share a model structure. In this thesis we will investigate, in the context of model structure, the relationship between the models before and after each of the two operations.
Consider a set of random variables, $X_1, … , X_n$ where $X_i$ (i=2, … , n) has a set of possibly explanatory variables, $X_1, … , X_{i-1}$ in the form of a linear regression model. Such cause-effect relationships among the X variables can be represented in a directed acyclic graph (DAG) and can also be represented in a linear triangular system. Let G be a DAG of the n random variables. Then G can be represented in an adjacency matrix, which we will denote by A(G). The (i,j)-entry of the matrix equals 1 if there is an arrow from node i to node j, or i → j, in G.
We will propose a method of finding the new model structure of a DAG, G, by using matrix operations, which is created by applying each of marginalization and conditionalization on the model of G. We will also explore properties of the matrix operations.
그래프 모형은 여러 변수들 간의 복잡한 상호 관계를 표현하는 유용한 도구 중 하나이다. 이 논문에서는 확률변수 집합 안의 인과관계를 표현하는 DAG 모형에 집중하였다. 예를 들어, Linear triangular system을 이루는 확률변수 집합은 DAG 모형으로 나타낼 수 있다.
만약 어떤 변수 하나가 marginalize 되거나 condition 되면 남은 변수들 간의 관계가 변하게 된다. 변화된 새로운 관계를 나타내기 위해, 두 변수 사이의 확률밀도함수 구조에 따라 새로운 선을 주는 부분그래프 구조를 정의하였다. 그리고 확률밀도함수의 구조를 나타내기 위해 선을 3가지 표현법으로 나타내었다 (화살표, 직선, 점선). 나아가, 둘 이상의 변수가 marginalize 되거나 condition 되는 상황에서는 변수를 하나씩 marginalize하고 conditionalize 하는 재귀적 방법을 통해 부분그래프 구조를 구할 수 있다.
두 연산, marginalization과 conditionalization 은 그래프가 크지 않을 경우에 그래프 상에서 적용될 수 있다. 하지만 수백 개의 변수를 포함하는 큰 그래프의 경우, 연산을 그래프 상에서 다루기가 쉽지가 않다. 따라서 그래프의 크기에 관계없이 연산들이 쉽게 적용될 수 있게 해주는 어떤 도구가 필요하였고, 우리는 행렬 개념을 도입하여 연산을 다루었다. 우리는 행렬에 색칠된 1을 사용하여 연산의 결과를 구분지어 표현하였다. 검정색 1은 그래프의 화살표 구조를, 빨간색 1은 그래프의 직선 구조를, 파란색 1은 그래프의 점선 구조를 나타낸다. Marginalizing 연산은 commutativity를 만족하고, Conditioning 연산은 condition 하고자 하는 변수 집합을 나눠서 각각에 해당하는 Conditioning 연산을 적용해도 결과에 변화가 없다. 더불어, Marginalizing 연산과 Conditioning 연산은 서로 순서를 바꿔 적용해도 결과에 변화가 없다.
우리의 제안한 방법이 그래프 모형의 구조 학습을 위한 유용한 도구임을 모의 실험을 통해 보였다. 앞으로의 연구로, 이 개념을 도입해 정의한 부분그래프 구조를 Markov equivalence class로 분류하고자 한다. 또한, 전체모형과 부분그래프 모형 간의 관계를 살펴봄으로, 주어진 부분그래프 모형을 통한 전체그래프 모형에 대한 추측을 하고자 한다.
