In this thesis, we address two important estimation frameworks, sequential Monte Carlo and deep neural networks for the problem of recursive Bayesian estimation and natural image denoising, and propose ensemble strategies for improving their estimation efficiency. For sequential Monte Carlo, its previous resampling schemes have two drawbacks. First, they remove so many samples that ensemble diversity becomes reduced. Second, they lose so large weight information that approximation error becomes significant. As a result, sequential Monte Carlo methods suffer from low sampling efficiency. Hence, we introduce a novel resampling scheme designed to overcome the two drawbacks. Our proposed scheme employs a deterministic approach to decrease the number of removed samples and keeps weights such that the loss of weight information is minimized. By doing so, our scheme increases the diversity of samples and approximation performance, and so, improves the sampling efficiency of the methods. We will show these results through two recursive Bayesian estimation examples. For deep neural networks, we propose a novel ensemble strategy of exploiting multiple deep neural networks for efficient deep learning of image denoising. To learn the high diversity of natural image patches and noise distributions in image denoising, we divide the denoising task into several local subtasks according to the complexity of image patches and conquer each subtask using a network trained on its local space. We then combine the local subtasks at test time by applying the set of networks to each noisy patch as a weighted mixture. Our methodology of using locally-learned networks based on patch complexity effectively decreases the diversity of image patches at each single network, and their adaptively-weighted mixture to the input combines the local subtasks efficiently. Extensive experimental results demonstrate that our strategy outperforms previous methods with much smaller training samples and trainable parameters, and so, improves the learning efficiency.
본 학위 논문은 재귀 베이지안 추정을 위한 순차 몬테 칼로법과 영상의 잡음 제거를 위한 심층 신경망에 대해서 다루며 그들의 추정 효율을 높이기 위한 앙상블 기법들을 제안한다. 순차 몬테 칼로법에서는 기존의 표본 재추출 기법들이 너무 많은 표본들과 가중치 정보를 제거함으로써 앙상블의 다양성이 감소되고 근사화 에러가 증가되는 문제를 다룬다. 이는 표본 효율이 낮음을 의미하는데 이를 해결하기 위해 결정론 기반의 표본 재추출 기법을 제안하여 제거되는 표본들의 수를 제한하고 가중치 정보의 손실을 최소화한다. 그 결과로 표본들의 다양성과 근사화 성능이 증가하고 표본 효율성이 향상됨을 재귀 베이지안 추정 문제를 통하여 확인한다. 심층 신경망에서는 여러 개의 심층 신경망을 이용하여 영상의 잡음 제거 문제에서 영상 패치들과 잡음 분포의 높은 다양성을 효율적으로 심층 학습하는 방법을 제안한다. 구체적으로, 잡음 제거 문제를 영상 패치들의 복잡도에 따라 여러 개의 작은 국소 문제들로 분할하고 각 문제마다 그 국소 범위에서 심층 신경망을 심층 학습한다. 그렇게 학습된 여러 개의 국소 심층 신경망들은 추론 시점에 가중치 혼합 방식으로 결과가 합쳐진다. 다양한 실험 결과는 제안한 기법이 기존 기법들 대비 학습 효율성이 향상되어 훨씬 적은 학습 데이터와 파라미터로 더 좋은 성능을 냄을 확인한다.
