Recently, deep learning has significantly extended its scope from classification and low-level computer vision problems to various inverse problems such as x-ray low-dose CT, compressed sensing MRI, etc. Beyond these linear inverse problems where an off-the-shelf neural network from computer vision suffices to remove image artifacts, can machine learning learn complex non-linear physics such as photon scattering in highly diffusive medium? Here we develop a novel deep learning approach that reversely traces the photon scattering through diffusive medium to obtain an accurate 3D distribution of optical anomalies. Based on the deep convolutional framelets theory, we show that each layer of the proposed neural network actually learns the mappings that directly inverts the Lippmann-Schwinger equation and the bases of a low dimensional signal manifold. The proposed framework showed a robust performance over the various examples of the inverse problems including diffuse optical tomography (DOT) and elastic imaging. Compared to the conventional model-based approaches, the proposed deep network has many advantages. First, the inversion of the Lippmann-Swinger equation is fully data-driven such that we do not need any explicit modeling of the acquisition system and boundary conditions. Second, unlike the explicit regularization in the model-based approaches, the low-dimensional signal manifold is embedded as convolutional layers that are also learned from the data. Third, unlike the conventional approach whose performance is fixed, the proposed deep learning approach benefits from a newly gathered data by exploiting new information. Fourth, after training the network, it can reconstruct the final image within a few hundred of milliseconds since the model does not need to be re-computed per each individual data. Moreover, since the network learns a new signal representation instead of a simple denoising kernel from images to images, which is common in the convolutional neural network applications in the computer vision area, the proposed neural network is felicitous to provide a robust reconstruction in the real data even though it is only trained using a generated set of numerical data.
최근 심층 학습 분야는 단순 영상 분류 및 영상 처리 문제에서부터 X 선 저선량 CT, 압축센싱 MRI 등 다양한 역방향 문제에 이르기까지 그 범위가 크게 확대되고 있다. 영상에서 노이즈를 제거하는 것과 같은 단순한 선형 역방향 문제는 영상 처리 분야에서 상용되고 있는 신경망을 사용하는 것만으로도 충분히 문제를 푸는 것이 가능하지만, 이를 넘어서서 산란이 많이 일어나는 매질에서의 광자 움직임과 같은 복잡한 비선형적 물리 현상을 데이터로부터 학습하는 것이 가능할 것인가? 본 학위논문에서는 광학적 변수 값의 정확한 3차원 분포를 얻기 위해, 확산 매체를 통한 광자 산란을 역추적하는 새로운 심층 학습 접근 방식을 제안한다. 깊은 컨볼루션 프레임렛 이론을 바탕으로, 제안하는 신경망의 각 층이 실제로 각각 Lippmann-Schwinger 방정식의 역함수와 신호가 존재하는 낮은 차원의 매니폴드로 사영하는 기저들을 학습하는 것을 보이고, 역산란 문제에서의 산란광 단층 영상과 탄성 영상 등 다양한 종류의 실험 데이터에 적용하여 강건한 성능을 확인하였다. 기존의 모델기반 복원 방식에 비교하여 제안하는 깊은 신경망은 다음과 같은 장점을 갖고 있다. 첫째, Lippmann-Schwinger 방정식의 역함수가 데이터를 기반하여 학습되기 때문에 명확한 수학적 모델링이나 경계 조건이 복원 과정에 필요하지 않다. 둘째, 낮은 차원의 신호 매니폴드를 찾기 위해 구체적인 제약 조건이 필요하였던 기존의 방식과는 달리 컨볼루션 층이 이런 성질을 내포하며 이 역시도 데이터로부터 학습되므로 더욱 유연하고 나은 성능의 복원을 기대할 수 있다. 셋째, 기존의 방식은 새로운 데이터로부터 추가적인 정보를 얻을 수 없는 반면 심층 학습 방식은 데이터가 추가될수록 성능의 향상을 기대할 수 있다. 넷째, 한 번 학습이 완료된 이후 각각의 데이터에 대해 새로이 모델을 반복하여 연산할 필요가 없고 수백 밀리세컨드 단위의 매우 빠른 복원이 가능하다. 또한 컴퓨터 시각 분야에서 일반적으로 이미지에서 이미지로의 잡음을 제거하는 단순한 함수를 컨볼루션 신경망으로 학습하는 것과는 달리, 제안하는 방식은 신호의 새로운 표현 방식을 직접 학습하기 때문에 신경망이 가상 데이터만으로도 실제 데이터에 강건한 성능을 보이는 함수를 학습하는 것이 가능하다는 것을 확인하였다.
