Recent advances in optical detection technologies have made it possible to measure the numbers of species in small-scale systems (e.g. biological systems at nano-/micro-scale) even single-molecular levels. The inherent stochastic dynamics associated with low number of species in small-scale systems have resulted in the development of stochastic models, especially the chemical master equations (CMEs) for discrete states. However, many system identification and estimation methods is well-established for deterministic models, while methods for stochastic models are less developed. The reason is that the CMEs are typically solved using the stochastic simulation algorithm (SSA) in which abundant Monte Carlo realizations of associated systems are required for approximating exact probability distribution. In this work, an exact analytical solution of the CMEs in the case where the underlying system is governed by monomolecular reactions is dealt with in following system identification and state estimation problems.
A sparse parameter matrix estimation method is proposed for identifying a stochastic monomolecular biochemical reaction network system. Identification of a reaction network can be achieved by estimating a sparse parameter matrix containing the reaction network structure and kinetics information. Stochastic dynamics of a biochemical reaction network system is modelled by the CME which is composed of several ordinary differential equations describing the time evolution of probability distributions for all possible copies of species in the system. This work considers closed monomolecular reaction network systems for which an exact analytical solution of the corresponding CME can be derived. The estimation method presented in this work incorporates the closed-form solution into a regularized maximum likelihood estimation (MLE) for which model complexity is penalized by adding l1 norm term to the objective function, whereas most of existing studies on sparse reaction network identification use deterministic models for least-square estimation (LSE). Improved performance of regularized MLE over LSE is verified with a simulation study involving a small scale reaction network system as well as a more stochastic and larger scale reaction network system with small population size. The proposed method can potentially be used for robust reaction network identification problems such as those found in metabolic networks or gene regulatory networks.
Next work proposes a MLE method for estimating time-varying local concentration of the target molecule proximate to the sensor from the time profile of stochastic monomolecular adsorption and desorption on the surface of the sensor at nanoscale. Recently, several carbon nanotube (CNT) sensors have been developed that can selectively detect target molecules at a trace concentration level. These sensors make use of light intensity changes mediated by adsorption or desorption phenomena on their surfaces. The molecular events occurring at trace concentration levels are inherently stochastic, posing a challenge for optimal estimation. The stochastic behavior is modeled by the CME composed of a set of ordinary differential equations describing the time evolution of probabilities for the possible adsorption states. In the CME, the adsorption rate on the sensor surface is linearly proportional to the local concentration at the bulk phase, thus connecting the sensor signal to it. Given the significant stochastic nature of the underlying phenomena, rigorous stochastic estimation based on the CME should lead to an improved accuracy over than deterministic estimation formulated based on the continuum model. Motivated by this expectation, we formulate the MLE based on an analytical solution of the relevant CME, both for the constant and the time-varying local concentrations, with the objective of estimating the analyte concentration field in real time from the adsorption readings of the sensor array. The performances of the MLE and the LSE are compared using data generated by kinetic Monte Carlo (KMC) simulations of the stochastic process.
However, the proposed MLE for the CNT-based sensor array system is hard to be considered as a recursive state estimator because it is based on the full information likelihood. Therefore, the final work addresses a problem of estimating time-varying, local concentrations of signal molecules with a carbon-nanotube (CNT)-based sensor array system. We propose to develop a state estimator that works with these types of sensors, fully addressing their stochastic nature. The two state estimation methods examined are the well-known Kalman filter, which assumes Gaussian underlying distributions, and the particle filter, which is nonparametric and therefore has more flexibility in handling non-Gaussian distributions. We compare these two state estimators in the context of a simple problem motivated by tumor cell detection through signal molecules in human body, especially nitric oxide (NO) and hydrogen peroxide (H2O2). The NO and H2O2 signal molecules are consistently generated from the enzymes in the vascular endothelial cells to regulate various physiological and pathological processes. And their concentration is largely perturbed by the tumor cell activity, which can be represented by a hidden Markov model. For the switching system, the second-order generalized pseudo Bayesian estimation (GPB2) algorithm and the Markov chain Monte Carlo (MCMC) algorithm are combined to KF and PF respectively. The performance of the proposed methods are compared with a single sensor as well as multiple sensors distributed randomly in the neighborhood region that shares same local concentration dynamics.
In conclusion, my research proposes robust, optimal formulations of the parameter and state estimations for the non-Gaussian stochastic systems. The proposed methods are tested with representative examples of the monomolecular reaction systems such as the single-molecular adsorption or biochemical reaction networks. As a result, robust estimation of the proposed methods with consistently higher accuracy for low-population measurements is demonstrated by comparing with deterministic methods based on the continuum model with Gaussian assumption.
최근 20년간 재료 공학과 생물 공학의 괄목할 만한 발전으로 소단위(nm ~ ？m) 생물 시스템을 대상으로 하는 다양한 검출 물질이 개발되어왔다. 가장 민감성이 좋은 물질은 단일 분자 변화까지 감지할 수 있는데 가시 형광 단백질 또는 근적외 형광 탄소나노튜브(carbon nanotube, 이하 CNT)로부터 방출되는 광을 이용하는 기술이 대표적이다. 이러한 고민감성 검출 기술을 통해 소단위 생물 시스템에서 일어나는 현상들 중 아직 완벽히 밝혀지지 않은 생물 메커니즘을 이해하기 위한 많은 연구들이 진행되고 있고 그 결과를 의학 분야에 적용하기 위한 시도를 하고 있다.
소단위 생물 시스템의 개체(species)들이 보이는 내제적, 확률론적(inherent stochas-tic) 거동은 대단위 시스템에 통상적으로 적용하는 결정론적(deterministic) 모델로 표현하기보다 확률론적(stochastic) 모델로 표현하는 것이 적합하다. 또한 확률론적 모델을 기반으로 시스템 식별(system identification) 또는 상태 추정(state estimation) 기법을 공식화(formulation) 하여야 높은 잡음(noise)를 갖는 측정 데이터로부터 정확한 시스템 정보와 상태를 추출할 수 있다. 하지만 많은 시스템 식별과 상태 추정 기법이 확률론적 모델보다 결정론적 모델을 기반으로 발달되어 왔다. 그 이유는 확률론적 모델이 대부분 수많은 몬테 카를로(Monte Carlo, 이하 KMC) 시뮬레이션을 수행하여 근사 확률 분포(probability distribution) 해를 구하는 방식으로 풀리기 때문이다.
본 박사과정 연구에서는 소단위 생물 시스템을 이산 상태(discrete state)에 대한 확률론적 모델인 화학 으뜸 방정식(chemical master equation, 이하 CME)으로 모델화하였다. 또한 연구 대상 범위를 CME의 분석 해(analytical solution) 적용 가능 영역으로 한정하여 확률론적 모델을 고려한 효율적인 시스템 식별 및 상태 추정 기법 개발에 초점을 맞추었다.
첫 번째 연구에서는 희소 행렬(sparse matrix) 추정 기법을 다루었으며, 이는 형광 단백질로 검출되는 개체들의 생화학 반응인 반응 네트워크 시스템의 식별 문제에 적용 가능하다. 반응 네트워크 식별 문제는 희소 행렬이 내제하고 있는 반응 네트워크 구조와 반응 속도 상수를 추정하는 문제로 해석될 수 있다. 반응 네트워크 시스템 내 개체들의 확률론적 거동은 CME로 모델화가 가능하고 CME는 시스템 내에서 이루어 질 수 있는 모든 가능한 개체 수 조합에 대한 확률 분포의 시간 변화를 나타내는 상미분방정식(ordinary differen-tial equation, 이하 ODE)으로 구성된다. 특히 단일분자 반응(monomolecular reaction) 네트워크 시스템으로 적용 대상을 한정할 경우 CME의 분석 해가 도출될 수 있다. 본 연구에서는 분석 해 기반의 최대 우도 추정(maximum likelihood estimation, 이하 MLE) 공식에 모델 복잡성에 패널티를 가하는 항을 추가한 규제된(regularized) MLE를 제안하였다. 비교 기법으로써 희소 반응 네트워크 식별에서 통상적으로 적용되어온 결정론적 모델 기반의 최소 자승 추정 (least squares estimation, 이하 LSE) 기법 또한 공식화 하였다. 작은 크기의 개체 수 및 개체군(population)의 생화학 반응 네트워크를 KMC 시뮬레이션으로 구현했을 때 LSE 기법보다 MLE 기법이 보다 나은 식별 성능을 보였다. 또한 보다 더 작은, 그러나 더 많은 개체 수의 확률론적 반응 네트워크 문제에서도 역시 개선된 식별 성능을 보여주었다. 본 연구에서 제안하는 방법론은 물질 대사(metabolic) 네트워크 또는 유전자 조절(gene regulatory) 네트워크와 같은 실제 시스템 식별 문제에서 강건한(robust) 방법론으로써 적용될 수 있을 것으로 예상된다.
다음 연구에서는 센서와 가까운 세포 신호 분자의 국부 농도를 추정하기 위해 나노 단위의 CNT 기반 센서 표면에서 단일분자가 흡, 탈착 되는 시간 프로파일을 이용하는 MLE 기법을 공식화하였다. 최근 생체 내에서 마이크로 몰(M) 농도 수준으로 존재하는 신호 분자를 선택적으로 검출하는 CNT 기반 센서가 개발되었다. 이 센서는 표면에서 일어나는 단일분자 흡, 탈착 현상에 따라 변화하는 빛의 세기를 사용한다. 나노 단위에서 일어나는 확률론적 단일분자 흡착 거동은 CME로 모델화 할 수 있고 CME는 모든 가능한 흡착 상태에 대한 확률 분포의 시간 변화를 나타내는 ODE로 구성된다. 특히 이 CME는 센서 표면에서의 흡착 속도 상수를 포함하는데 이 속도 상수가 센서와 가까운 벌크(bulk) 상에서의 국부 농도와 선형 관계를 갖기 때문에 결국 흡, 탈착 데이터가 국부 농도와 연결될 수 있다. CME의 명확 해로 이루어진 MLE 기법을 공식화하고 센서로부터 얻을 수 있는 흡, 탈착 데이터로부터 검출 분자의 국부 농도를 추정하였다. 확률론적 흡, 탈착 현상을 그대로 구현한 KMC 시뮬레이션으로 생성된 모의 실험으로부터 MLE 기법이 LSE 기법보다 더 정확한 추정 성능을 보여준다는 결론을 도출하였다.
하지만 본 연구의 MLE 기법은 모든 측정 데이터를 기반으로 공식화 되기 때문에 정확한 한편 시간이 갈수록 추정 시간이 증가하여 실시간(real-time) 반복적(recursive) 상태 추정에 사용되기 힘들다는 단점이 있다. 마지막 연구에서는 확률론적 모델을 다루면서 시간에 따라 변하는 검출 분자의 국부 농도를 실시간으로 추정할 수 있는 추정 기법으로써 칼만 필터와 파티클 필터를 포함하는 베이지안(Bayesian) 기법을 공식화하였다. 본 연구에서 제안하는 기법을 보다 실질적인 시스템에서 시험하기 위해 세포 활동과 관련된 신호 분자의 상태 추정 문제를 정의하고 제안 기법을 적용해 보았다. 신호 물질은 인체 내 혈관 내피 세포의 효소로부터 끊임없이 발생되며 다양한 생리학적, 병리학적 현상을 조절하는 역할을 한다. 이 신호 물질은 특히 종양 세포 활동 시 큰 변화 양상을 보이는데 이는 은닉 마르코스 모델(hidden Markov model, 이하 HMM)을 이용하여 나타낼 수 있다. 이 HMM을 다루기 위해, 이차 일반화 모조 베이지안 추정(2nd order generalized pseudo Bayesian es-timation, 이하 GPB2) 알고리즘과 마르코브 사슬 몬테 카를로(Markov chain Monte Carlo, 이하 MCMC) 방법론을 각각 칼만 필터와 파티클 필터에 결합하였다. 본 연구 방법론의 성능은 단일 센서 뿐 아니라 특정 농도 변화 공간에 분산된 다중 센서에 대해서도 검증되었고 모든 경우에 대해서 확률론적 모델을 충분히 반영하는 PF-MCMC가 KF-GPB2 보다 높은 정확성을 보였다.
정리하면, 본 박사과정 연구는 내제 확률론적 시스템에 적용이 가능한 시스템 식별 및 실시간 상태 추정 기법의 강건, 최적 공식을 제안하였다. 최근 개발된 고민감성 센서로 검출이 가능한 단일분자 생화학 반응 네트워크 시스템 및 단일분자 흡착 시스템을 KMC 시뮬레이션으로 구현하고 이를 대상으로 제안된 기법들의 성능을 평가하였다. 그 결과 결정론적 모델 기반의 기법과 비교하여 확률론적 모델 기반의 기법이 작은 개체군 크기를 갖는 소단위 시스템에 대해 항상 높은 정확성을 갖는 식별 및 추정 성능을 보여주었다.
제안된 기법들은 의학분야, 특히 신약 및 치료법 개발에 활용이 될 수 있을 것으로 예상된다. 복잡한 질병 메커니즘을 이해하기 위해서는 생물 네트워크를 구축하는 것이 중요하다. 생물 네트워크 구축을 통해 치료를 위한 새로운 목표 물질을 선정할 수 있으며, 이를 목표로 하는 효율적인 약을 설계 할 수 있다. 제안된 MLE 기법은 유전자 수준의 확률론적 데이터로부터 가장 정확한 네트워크를 구축하는 방법론으로써 적용이 가능하다. 네트워크가 구축이 되고 새로운 목표가 설정되면 그 목표 물질을 약 투입을 통해 적절히 조절하는 치료 전략이 수립 되어야 한다. 이를 위해서는 목표 물질을 변화시키는 인자의 시간, 농도, 위치 등이 정확하게 이해되어야 한다. 실례로, 신호 물질의 조절은 신생혈관생성(angiogenesis)을 억제하여 종양 세포 전이를 막는 치료 전략으로써 거론되어 왔다. 제안된 실시간 베이지안 추정 기법을 통해 아직 밝혀지지 않은 효소 억제 및 신호 분자 제거가 종양 성장에 미치는 영향을 정확하게 분석할 수 있다. 결과적으로 종양 세포 전이를 막고 종양으로부터 비롯된 각종 질병을 예방하는 치료법을 개발할 수 있다.
